### 如何构建 Python 好大夫在线爬虫 要完成一个针对好大夫在线平台的完整爬虫程序，可以从以下几个方面入手： #### 1. **环境准备** 在编写爬虫之前，需要安装必要的库。以下是常用的依赖项： - `requests` 或 `httpx`: 发起 HTTP 请求。 - `BeautifulSoup` (来自 `bs4`) : 解析 HTML 文档。 - `pandas`: 数据处理和保存。 可以通过以下命令安装所需库： ```bash pip install requests beautifulsoup4 pandas httpx ``` --- #### 2. **目标网站结构分析** 好大夫在线提供医生评价数据，通常包括但不限于以下字段： - 医生姓名 - 所属医院及科室 - 患者评分（疗效、态度） - 评论数量 - 问诊方式及其费用 为了获取这些信息，需先了解页面布局并提取关键标签路径。例如，假设某页源码如下片段所示： ```html <div class="doctor-info"> <h3>张三</h3> <span>所属医院：北京协和医院</span> <span>科室：内科</span> <div class="ratings"> <span>疗效满意度：90%</span> <span>态度满意度：85%</span> </div> </div> ``` 上述例子中的 `<h3>` 和 `<span>` 是主要的数据节点。 --- #### 3. **核心代码实现** 下面是一份基于以上需求编写的简单爬虫框架代码示例： ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_doctor_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') doctors = [] doctor_blocks = soup.select('.doctor-info') # 替换为实际的选择器 for block in doctor_blocks: name = block.h3.text.strip() hospital = block.find('span', text='所属医院').next_sibling.strip() department = block.find('span', text='科室').next_sibling.strip() ratings_block = block.find('div', class_='ratings') effectiveness_rating = float(ratings_block.find(text=lambda t: '疗效' in t).split(':')[1].strip().replace('%', '')) / 100 attitude_rating = float(ratings_block.find(text=lambda t: '态度' in t).split(':')[1].strip().replace('%', '')) / 100 doctors.append({ 'name': name, 'hospital': hospital, 'department': department, 'effectiveness_rating': effectiveness_rating, 'attitude_rating': attitude_rating }) return doctors if __name__ == "__main__": url = "https://www.haodf.com/example" # 需替换为目标 URL data = fetch_doctor_data(url) df = pd.DataFrame(data) df.to_csv("doctors.csv", index=False, encoding="utf_8_sig") # 导出 CSV 文件 ``` 这段代码实现了从指定 URL 抓取医生基本信息的功能，并将其导出至本地文件中[^2]。 --- #### 4. **数据清洗与预处理** 根据描述，在抓取过程中可能会遇到杂乱无章的价格和服务类型等问题。为此可采取以下措施清理数据： - 删除缺失值较多或不符合条件的记录； - 将百分比形式转换成浮点数值范围 `[0, 1]`; - 统一不同单位下的收费模式（如将电话问诊按分钟计费调整为每小时费率）。 具体操作参见下述伪代码逻辑： ```python df['price'] = df['price'].str.replace('元/', '').astype(float) # 转换价格列 df['service_type'] = df.apply(lambda row: categorize_service(row), axis=1) # 自定义分类函数 def categorize_service(row): if '图文' in str(row['description']): return '图文问诊' elif '电话' in str(row['description']): return '电话问诊' else: return '其他' # 移除无效条目 filtered_df = df.dropna(subset=['consultations_count', 'satisfaction']) ``` --- #### 5. **注意事项** - 动态加载的内容可能无法直接通过静态解析获得，此时建议引入 Selenium 工具模拟浏览器行为[^3]。 - 应遵循目标站点的服务条款，避免频繁访问造成服务器负担[^4]。 - 若涉及敏感个人信息，则务必做好脱敏处理后再存储或共享结果集[^5]。 --- ###