### 使用Python爬取寻医问药网的数据 为了实现从寻医问药网抓取数据的目标，可以采用 Python 的 `requests` 和 `BeautifulSoup` 库来完成网页请求和解析的任务。以下是具体方法和技术细节： #### 准备工作 在开始之前，需要安装必要的库并导入它们。这些库包括用于发送 HTTP 请求的 `requests` 和用于 HTML 解析的 `BeautifulSoup`。 ```bash pip install requests beautifulsoup4 ``` #### 发送HTTP请求 使用 `requests.get()` 方法向目标网站发起 GET 请求以获取页面内容。需要注意的是，在访问某些网站时可能需要设置 User-Agent 头部信息模拟浏览器行为[^1]。 ```python import requests from bs4 import BeautifulSoup url = 'https://www.xywy.com/' # 寻医问药网首页或其他特定URL headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: raise Exception(f"Failed to load page {url}") ``` #### 页面解析与数据提取 利用 `BeautifulSoup` 对返回的 HTML 文档进行解析，并定位到所需的信息节点。通常可以通过查看网页源码找到对应的标签结构[^1]。 ```python soup = BeautifulSoup(html_content, 'html.parser') # 假设我们要提取疾病名称及其链接作为例子 disease_list = [] for item in soup.find_all('a', class_='some-class'): # 替换为实际类名或属性 title = item.get_text(strip=True) link = item['href'] disease_list.append({'title': title, 'link': link}) ``` #### 数据存储 最后一步是将收集到的数据保存下来以便后续分析或者展示给用户。可以选择多种方式如 CSV 文件、JSON 格式等[^1]。 ```python import json with open('diseases.json', 'w', encoding='utf-8') as f: json.dump(disease_list, f, ensure_ascii=False, indent=4) ``` 以上是一个基本框架，针对不同类型的页面布局还需要调整具体的 CSS Selectors 或 XPath 表达式来进行精确匹配。