### 3.1 确定目标页面与数据结构 在使用 Selenium 抓取东方财富网的上市公司公告时，首先需要明确目标页面的 URL 结构以及公告信息的数据格式。例如，东方财富网的公告页面通常以公司代码或名称作为查询参数，返回的网页内容中包含多个公告条目，每个条目包括标题、发布日期、PDF 链接等字段。 可以通过浏览器开发者工具（F12）查看页面 DOM 结构，找到公告列表所在的容器标签，并识别出每条公告的标题、链接和发布时间对应的 HTML 元素位置[^1]。 ### 3.2 安装与配置 Selenium 环境 Selenium 是一个自动化测试工具，也可用于模拟用户操作浏览器进行数据抓取。要使用它爬取东方财富网的公告信息，需安装以下组件： - **Python 的 Selenium 库**：通过 `pip install selenium` 安装。 - **浏览器驱动程序**：如 ChromeDriver 或 GeckoDriver（对应 Firefox），确保其版本与本地浏览器一致。 启动 WebDriver 后，可以使用 `get()` 方法加载目标网页，并通过 `find_element` 或 `find_elements` 定位公告列表中的各项内容[^1]。 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time # 设置浏览器驱动路径 driver = webdriver.Chrome(executable_path='/path/to/chromedriver') # 打开东方财富网公告页面 url = 'http://data.eastmoney.com/notices/stock/600519.html' # 示例：贵州茅台公告页 driver.get(url) # 等待页面加载完成 time.sleep(3) ``` ### 3.3 解析公告列表并提取数据 在页面加载完成后，使用 XPath 或 CSS 选择器定位公告列表元素。假设公告标题位于 `<div class="notice_tit">` 中，而 PDF 文件链接则嵌套在 `<a>` 标签内，可以通过以下方式提取数据： ```python notices = driver.find_elements(By.CSS_SELECTOR, '.notice_list li') for notice in notices: title = notice.find_element(By.TAG_NAME, 'a').text link = notice.find_element(By.TAG_NAME, 'a').get_attribute('href') date = notice.find_element(By.CLASS_NAME, 'date').text print(f"标题: {title}, 时间: {date}, 链接: {link}") ``` 上述代码展示了如何遍历公告列表，并分别提取标题、时间与链接信息。注意，部分网站会使用 JavaScript 动态加载数据，此时可考虑使用 `WebDriverWait` 等待特定元素出现后再进行解析[^1]。 ### 3.4 处理翻页与批量抓取 如果某家公司的公告数量较多，通常会分页显示。可通过查找“下一页”按钮的链接或点击事件来实现自动翻页。例如： ```python next_page = driver.find_element(By.LINK_TEXT, '下一页') if next_page: next_page.click() time.sleep(2) # 等待新页面加载 else: break ``` 此外，若需批量抓取多家上市公司的公告，可以预先准备一份公司代码列表，并循环调用不同 URL 进行访问与数据提取。 ### 3.5 数据存储与后续处理 抓取到公告数据后，可以选择将结果保存为 CSV、JSON 或数据库格式。例如，使用 pandas 将数据写入 Excel 文件： ```python import pandas as pd data = { '标题': [title], '时间': [date], '链接': [link] } df = pd.DataFrame(data) df.to_excel('dongfang_caigao.xlsx', index=False) ``` 这样可以方便后续分析或展示，适用于撰写小红书笔记时提供可视化效果与实际应用价值。 ---