### 编写Python爬虫抓取特定行业多年年报数据 为了实现这一目标，编写一个有效的Python爬虫程序需要遵循一系列步骤并考虑多个方面。这里提供一种基于`requests`和`BeautifulSoup`库的方法来构建这样一个爬虫。 #### 准备工作 确保已安装必要的Python包，这可以通过pip命令完成： ```bash pip install requests beautifulsoup4 pandas lxml openpyxl ``` 这些工具分别用于发送HTTP请求、解析HTML文档以及处理Excel文件中的表格数据。 #### 发送HTTP请求获取页面内容 利用`requests.get()`函数向目标网站发起GET请求，并通过传递合适的headers模拟浏览器行为以提高成功率[^2]。 ```python import requests url = 'http://example.com/annual_reports' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" } response = requests.get(url, headers=headers) html_content = response.text ``` #### 解析网页结构提取所需信息 使用`BeautifulSoup`加载返回的内容并对DOM树进行遍历查找感兴趣的元素，比如链接到PDF报告的URLs或内嵌于页面上的财务摘要表单。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') links_to_pdfs = [] for link in soup.find_all('a', href=True): if '.pdf' in link['href']: links_to_pdfs.append(link['href']) ``` 对于非纯文本形式的数据源（如PDF），可能还需要额外依赖第三方服务或专用软件来进行转换操作以便进一步分析。 #### 存储收集的信息 最后一步是将获得的结果保存至本地磁盘或其他持久化存储介质上。考虑到年报通常包含大量数值型字段，采用CSV/XLSX格式可能是比较合适的选择之一；而对于原始文档，则可以直接下载其副本作为附件附加给相应的记录条目。 ```python import pandas as pd dataframe = pd.DataFrame({ 'year': years, 'revenue': revenues, # ... other columns ... }) dataframe.to_excel('./output.xlsx', index=False) # 下载 PDF 文件 for pdf_url in links_to_pdfs: file_name = Path(pdf_url).name with open(file_name, 'wb') as f: r = requests.get(pdf_url, stream=True) for chunk in r.iter_content(chunk_size=8192): f.write(chunk) ``` 以上代码片段展示了如何创建一个简单的爬虫框架去自动化地搜集指定领域内的年度财报资料。然而，在实际应用过程中还需注意遵守各站点的服务条款及法律法规限制，合理控制访问频率以免造成不必要的负担甚至封禁IP地址等问题的发生。