### 中医养生知识爬虫代码 以下是基于 Python 的简单爬虫代码，可以用来抓取中医养生知识的 HTML 网页内容。此代码利用 `requests` 和 `BeautifulSoup` 库完成基本的数据提取任务。 #### 安装依赖库 在运行代码之前，请确保安装了所需的 Python 库： ```bash pip install requests beautifulsoup4 lxml ``` #### 爬虫代码示例 以下是一个简单的爬虫脚本： ```python import requests from bs4 import BeautifulSoup def fetch_tcm_knowledge(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求状态码是否正常 soup = BeautifulSoup(response.text, 'lxml') # 提取网页中的主要内容区域（需根据目标网站结构调整） content_divs = soup.find_all('div', class_='content') # 修改为实际的目标标签和类名 results = [] for div in content_divs: text = div.get_text(strip=True) if text: # 过滤掉空白文本 results.append(text) return results except requests.RequestException as e: print(f"Error fetching data from {url}: {e}") return None if __name__ == "__main__": target_url = "https://example.com/tcm-knowledge-page" # 替换为目标网址 tcm_data = fetch_tcm_knowledge(target_url) if tcm_data: for idx, item in enumerate(tcm_data[:10], start=1): # 输出前10条数据作为示例 print(f"{idx}. {item}") ``` #### 关键点说明 - **headers 设置**：通过设置 User-Agent 来模拟浏览器访问行为[^1]。 - **异常处理**：使用 `try-except` 结构捕获网络错误并打印提示信息。 - **解析器选择**：这里选择了 `lxml` 解析器，因为它速度较快且兼容性强[^1]。 - **动态调整**：需要根据目标网站的具体结构修改 CSS 选择器或 XPath 表达式。 --- ### 注意事项 1. **合法性与道德性**：在爬取任何网站之前，请务必确认其 robots.txt 文件允许此类操作，并遵循相关法律法规[^2]。 2. **反爬机制应对**：部分网站可能采用验证码、IP 封禁等方式防止频繁访问。如果遇到这种情况，可以通过代理 IP 或延时策略缓解压力[^1]。 3. **存储方式**：对于大规模数据采集，建议将结果保存至文件或数据库中以便后续分析[^1]。 ---