### Python 医药数据采集与预处理的网络爬虫实现 #### 数据采集部分 在医药领域，使用Python进行数据采集通常依赖于`requests`库来发送HTTP请求以及`BeautifulSoup`或`Selenium`等工具解析网页内容。具体来说，可以通过以下方式实现： 1. **发送HTTP请求** 使用`requests.get()`函数向目标网站发起GET请求以获取网页内容[^1]。 2. **解析HTML文档** 利用`BeautifulSoup`库加载HTML文档并提取所需信息。例如，在中华康网案例中，通过观察网页结构发现药物信息位于特定CSS类下的标签内，因此可以定位这些标签并提取其文本和链接[^4]。 3. **处理动态加载的内容** 如果目标站点采用JavaScript动态渲染页面，则需借助像`Selenium`这样的自动化测试框架模拟浏览器行为，以便正确加载全部内容后再执行进一步的操作[^1]。 ```python import requests from bs4 import BeautifulSoup def fetch_medical_data(url): headers = {'User-Agent': 'Mozilla/5.0'} # 设置请求头防止被简单反爬策略阻止 response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 假设我们要找的是某种药品的名字及其详情链接 items = soup.find_all('a', class_='drug-item') # 替换为实际匹配的选择器 results = [] for item in items: name = item.text.strip() link = item['href'] result = { "name": name, "link": f"http://example.com{link}" # 补全相对路径URL } results.append(result) return results ``` #### 数据预处理部分 一旦收集到原始数据后，就需要对其进行清洗、转换等一系列操作才能用于后续建模或其他用途。以下是几个常见的步骤： 1. **去除重复记录** 对同一份数据集中可能存在多次录入相同条目的情况做去重处理。 2. **填补缺失值** 针对某些字段可能存在的空白值采取适当措施填充或者删除相应行列[^3]。 3. **标准化数值单位** 当涉及计量参数时统一表达形式便于比较分析。 4. **特征工程构建新变量** 结合专业知识创造更多有意义的新指标辅助决策支持系统开发工作。 ```python import pandas as pd raw_df = pd.DataFrame([ {"medicine_name": "Aspirin", "dosage_form": "", ...}, ... ]) cleaned_df = raw_df.drop_duplicates() # 删除完全相同的行 filled_na_df = cleaned_df.fillna(value={"dosage_form": "Unknown"}) # 给定缺省值替代NA项 normalized_df = filled_na_df.copy() # 示例：假设有一个体重列需要转换单位kg->g if 'weight_kg' in normalized_df.columns: normalized_df['weight_g'] = normalized_df['weight_kg'].apply(lambda x: float(x)*1000).astype(int) del normalized_df['weight_kg'] print(normalized_df.head()) ``` ---