抓取国家医保谈判入围品种的公示申报材料，需要根据目标网站的结构和数据交互方式进行相应的爬虫开发。以下是一个通用的Python爬虫方案，结合了现代爬虫技术（如`requests`、`BeautifulSoup`、`Selenium`等），适用于处理静态和动态加载的网站内容。 ### 1. 分析目标网站结构 国家医保谈判入围品种的公示材料通常发布在国家医保服务平台或相关政府网站上。首先需要确认数据来源是静态HTML页面还是通过API接口动态加载。例如，某些政府网站可能会使用加密参数或JavaScript动态渲染内容。 ### 2. 使用 `requests` 和 `BeautifulSoup` 抓取静态页面 如果目标页面是静态HTML，可以使用`requests`库发送HTTP请求，并使用`BeautifulSoup`解析HTML内容。 ```python import requests from bs4 import BeautifulSoup url = "https://fuwu.nhsa.gov.cn/nationalHallSt/#/search/drug-directory" # 示例URL response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 提取公示材料的链接 links = soup.find_all('a', {'class': 'policy-link'}) # 假设公示材料的链接具有特定class for link in links: print(link.get('href')) ``` ### 3. 处理动态加载内容 如果目标页面使用JavaScript动态加载数据（如使用Vue.js或React框架），则需要使用`Selenium`来模拟浏览器行为。 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time # 启动浏览器 driver = webdriver.Chrome() driver.get("https://fuwu.nhsa.gov.cn/nationalHallSt/#/search/drug-directory") # 等待页面加载 time.sleep(5) # 获取动态加载的内容 elements = driver.find_elements(By.CLASS_NAME, 'policy-title') # 假设公示材料的标题具有特定class for element in elements: print(element.text) # 关闭浏览器 driver.quit() ``` ### 4. 处理加密数据 某些医保平台可能会对请求参数或响应数据进行加密。在这种情况下，需要分析加密逻辑并模拟解密过程。例如，使用`requests`发送加密请求时，可能需要构造包含加密数据的JSON对象。 ```python import requests import time url = "https://fuwu.nhsa.gov.cn/nhsa-tx/rx/queryDrugInfoListInit" headers = { "Content-Type": "application/json" } # 构造加密请求参数 timestamp = int(time.time() * 1000) payload = { "data": { "appCode": "T98HPCGN5ZVVQBS8LZQNOAEXVI9GYHKQ", "data": { "encData": "加密数据" # 替换为实际的加密数据 }, "encType": "SM4", "signData": "签名数据", # 替换为实际的签名数据 "signType": "SM2", "timestamp": timestamp, "version": "1.0.0" } } response = requests.post(url, json=payload, headers=headers) print(response.json()) ``` ### 5. 数据存储与后续处理 抓取到数据后，可以使用`pandas`库将数据存储为CSV或Excel文件，便于后续分析和可视化。 ```python import pandas as pd # 假设抓取到的数据存储在列表中 data = [ {"name": "药品A", "公示时间": "2023-10-01", "申报材料": "材料链接1"}, {"name": "药品B", "公示时间": "2023-10-02", "申报材料": "材料链接2"} ] # 转换为DataFrame df = pd.DataFrame(data) # 存储为CSV文件 df.to_csv("national_insurance_drugs.csv", index=False) ``` ### 6. 数据可视化 使用`matplotlib`或`seaborn`库进行数据可视化，帮助更直观地展示公示材料的时间分布、药品类型等信息。 ```python import matplotlib.pyplot as plt import pandas as pd # 读取CSV文件 df = pd.read_csv("national_insurance_drugs.csv") # 统计公示时间分布 df['公示时间'] = pd.to_datetime(df['公示时间']) df.set_index('公示时间', inplace=True) monthly_count = df.resample('M').size() # 绘制折线图 monthly_count.plot(kind='line', title='Monthly Drug Announcement Count') plt.xlabel('Month') plt.ylabel('Count') plt.show() ``` ### 7. 合规性与注意事项 在抓取医保平台数据时，必须遵守相关法律法规和网站的使用条款。确保爬虫行为不会对目标网站造成过大负担，合理设置请求间隔，避免频繁访问导致IP被封禁。