为实现快速爬取上百个公司年报，可以采用以下方法： - **工具和环境准备**：使用Python进行爬取，可借助`requests`库发送HTTP请求，`BeautifulSoup`库解析HTML页面，`pandas`库处理数据。确保安装好这些库，以满足后续操作需求。 - **确定数据源**：以巨潮资讯为例，它是获取上市公司年报的常用数据源。 - **编写代码**： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置搜索参数 search_key = "年报" url_template = "http://www.cninfo.com.cn/new/fulltextSearch/full?searchkey={}&sdate=2016-01-01&edate=2017-01-01&isfulltext=false&sortName=pubdate&sortType=desc&pageNum={}&type=shj" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'en-US,en;q=0.5', 'Accept-Encoding': 'gzip, deflate, br', 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1' } # 读取公司代码 df = pd.read_excel('eastmoney_stocks.xlsx', dtype=str) codes = list(df['代码']) for code in codes: # 这里可以根据公司代码构造具体的请求URL，获取年报链接 for page_num in range(1, 10): # 假设最多10页 url = url_template.format(search_key, page_num) response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 解析页面，提取年报链接 # 这里需要根据实际页面结构修改代码 年报_links = soup.find_all('a', text=lambda t: '年报' in t and code in t) for link in 年报_links: # 下载年报 file_url = 'http://www.cninfo.com.cn' + link['href'] file_response = requests.get(file_url) with open(f'{code}_年报.pdf', 'wb') as f: f.write(file_response.content) ``` 上述代码参考了如何设置搜索参数、读取公司代码以及循环爬取年报的思路[^3][^2]。