### 如何使用 Selenium 实现东方财富网数据自动化获取 #### 1. 安装依赖库 为了实现自动化操作，需安装 `selenium` 库以及其他可能需要用到的工具包。可以通过以下命令完成安装： ```bash pip install selenium pandas openpyxl ``` #### 2. 下载浏览器驱动程序 Selenium 需要配合特定版本的浏览器驱动才能运行。如果使用 Chrome 浏览器，则需要下载对应版本的 Chromedriver 并将其放置在系统的 PATH 中或者指定路径下。 例如，假设 chromedriver 路径为 `D:\Download\Dirver\chromedriver_win32\chromedriver.exe`[^2]。 #### 3. 初始化 WebDriver 初始化 WebDriver 是整个流程的第一步。以下是创建 WebDriver 的代码示例： ```python from selenium import webdriver # 设置 ChromeDriver 路径 chrome_path = r"D:\Download\Dirver\chromedriver_win32\chromedriver.exe" browser = webdriver.Chrome(executable_path=chrome_path) # 打开目标页面 url = "http://quote.eastmoney.com/center/gridlist.html#hs_a_board" browser.get(url) ``` #### 4. 数据抓取逻辑 ##### (1) 动态 URL 解析 由于东方财富网的数据 URL 每天都会发生变化，因此需要先找到动态生成的部分并通过解析网络请求来提取实际接口地址[^1]。这通常涉及查看开发者工具中的 Network 请求记录。 ##### (2) HTML 元素查找 通过 Selenium 提供的方法定位所需元素。例如，可以按如下方式查找表格内容： ```python import time # 显式等待直到某个条件满足为止 from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC try: # 等待表格加载完毕 table_element = WebDriverWait(browser, 10).until( EC.presence_of_element_located((By.ID, 'table_wrapper-table')) ) rows = table_element.find_elements(By.TAG_NAME, 'tr') data_list = [] for row in rows: cells = row.find_elements(By.TAG_NAME, 'td') if not cells: continue stock_data = { "code": cells[1].text, "name": cells[2].text, "price": cells[3].text, } data_list.append(stock_data) finally: browser.quit() ``` 此处的关键在于正确识别 DOM 结构并选取合适的标签名称作为筛选依据[^2]。 ##### (3) 自动化任务调度 对于定期更新的任务，可借助 Python 的定时模块或其他高级框架设置循环执行计划。比如每天凌晨两点触发一次爬虫脚本： ```python import schedule import time def job(): print("Running scheduled task...") main_crawler_function() schedule.every().day.at("02:00").do(job) while True: schedule.run_pending() time.sleep(1) ``` #### 5. 存储至数据库或文件 最后一步就是把收集来的信息存放到永久介质里以便后续分析处理。这里推荐两种常见做法：一是直接写入 CSV 文件；二是导入关系型数据库如 MySQL。 CSV 导出实例： ```python import pandas as pd df = pd.DataFrame(data_list) df.to_csv('stocks.csv', index=False, encoding='utf_8_sig') ``` MySQL 插入语句片段： ```sql INSERT INTO stocks(code,name,price) VALUES (%s,%s,%s); ``` --- ### 注意事项 - **反爬机制规避**：部分网站会对频繁访问行为采取封禁 IP 措施，建议适当加入随机延时减少被检测风险。 - **异常捕获优化**：增加 try-except 块提高稳定性，防止因个别失败而中断整体进程。 - **资源释放管理**：每次结束会话记得关闭 driver (`browser.quit()`) ，以免占用过多内存资源。 ---