### 使用 Python 从巨潮资讯网爬取年报数据 为了高效地完成这项工作，可以采用以下几种技术手段： #### 方法一：构造 HTTP POST 请求 通过分析目标网站接口，得知可以通过向特定 URL 发送带有适当参数的POST请求来获取所需年报纸张的信息。下面是一个简单的例子展示如何设置这些参数以及发起这样的请求。 ```python import requests def get_page(page, day): parameters = { "pageNum": str(page), "pageSize": "30", "tabName": "fulltext", "column": "szse", "stock": "", "searchkey": "", "secid": "", "plate": "", "category": "category_ndbg_szsh;", "trade": "", "seDate": f"{day}~{day}", "sortName": "time", "sortType": "desc", "isHLtitle": "true" } headers = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)"} url = 'http://www.cninfo.com.cn/new/hisAnnouncement/query' response = requests.post(url, data=parameters, headers=headers) if response.status_code == 200: return response.json() else: raise Exception(f"Request failed with status code {response.status_code}") [^1]. ``` #### 方法二：过滤摘要数据并清理标题中的 HTML 标签 在接收到的数据集中可能存在部分无关紧要或者重复性的条目（比如摘要）。因此有必要编写函数去除这类干扰项，并且清除公告题目内的多余HTML标记。 ```python import pandas as pd def filter_and_clean(dataframe): dataframe['has_summary'] = dataframe['announcementTitle'].apply(lambda title: int('摘要' in title)) filtered_df = dataframe[dataframe['has_summary']==False].copy() del filtered_df['has_summary'] cleaned_titles = [] for raw_title in filtered_df['announcementTitle']: clean_title = raw_title.replace('<em>', '').replace('</em>', '') cleaned_titles.append(clean_title) filtered_df.loc[:, 'cleanedTitles'] = cleaned_titles return filtered_df [^2]. ``` #### 方法三：保存 PDF 并命名文件名 一旦确认了感兴趣的记录之后，下一步就是实际下载对应的PDF文档到本地磁盘上了。在此过程中还可以依据证券代码、名称以及其他描述字段来自定义生成更加直观易懂的名字给每个单独的文件。 ```python def save_pdf(record_info): pdf_url = record_info["adjunctUrl"] full_path = os.path.join("output_directory", "{}_{}_{}.pdf".format( record_info["secCode"], record_info["secName"], re.sub(r'\W+', '',record_info["cleanedTitles"]) )) r = requests.get(pdf_url, stream=True) if r.ok: with open(full_path,'wb')as out_file: shutil.copyfileobj(r.raw,out_file) else: logging.error(f"Failed to download {pdf_url}. Status Code:{r.status_code}") for idx,row in df.iterrows(): try: save_pdf(row.to_dict()) except Exception as e: logging.exception(e) [^3]. ``` 以上三个主要环节共同构成了整个流程的核心组成部分。当然，在具体实施之前还需注意遵守相关法律法规及道德准则，合理合法利用公共资源。