### ### 实现 Python 爬虫从百度百科获取冷知识 要实现从百度百科爬取“冷知识”类信息，可以采用基于 `requests` 和 `BeautifulSoup` 或 `lxml` 的方法来完成网页内容的抓取与解析。百度百科的词条页面结构较为统一，通常包含标题、摘要、正文和相关扩展内容。 #### 页面请求与反爬虫处理 在发送 HTTP 请求时，需要设置合适的请求头以模拟浏览器行为，防止被识别为爬虫。此外，可以通过添加随机延迟或使用代理 IP 提高稳定性。 ```python import requests import time import random def fetch_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } delay = random.uniform(1, 3) time.sleep(delay) response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: raise Exception(f"Failed to fetch page: {url}, status code: {response.status_code}") ``` #### 内容提取与数据清洗 使用 `BeautifulSoup` 或 `lxml` 解析 HTML 并提取所需内容。百度百科的摘要部分通常位于 `div` 标签中，类名为 `lemma-summary` 或 `lemmaWgt-lemmaSummary`。这些区域通常包含简短的介绍性内容，适合冷知识的提取。 ```python from bs4 import BeautifulSoup def extract_summary(html): soup = BeautifulSoup(html, 'lxml') summary_div = soup.find('div', class_='lemma-summary') or soup.find('div', class_='lemmaWgt-lemmaSummary') if summary_div: return summary_div.get_text(strip=True) else: return "未找到相关内容" ``` #### 完整流程整合 将上述两个步骤整合为完整的爬取函数，并通过输入关键词构造访问链接： ```python def get_cold_knowledge(keyword): base_url = 'https://baike.baidu.com/item/' encoded_keyword = keyword.replace(' ', '%20') # 处理空格 url = base_url + encoded_keyword html = fetch_page(url) summary = extract_summary(html) return summary if __name__ == '__main__': keyword = input("请输入你想查询的冷知识关键词：") result = get_cold_knowledge(keyword) print(f"查询结果：{result}") ``` 该程序会根据用户输入的关键词构建 URL，并抓取对应页面中的摘要内容作为冷知识返回[^4]。 #### 使用 XPath 提升解析效率 对于熟悉 `XPath` 的开发者，可以使用 `lxml` 模块直接进行更高效的解析操作： ```python from lxml import etree def query_with_xpath(content): url = 'https://baike.baidu.com/item/' + urllib.parse.quote(content) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } req = urllib.request.Request(url=url, headers=headers, method='GET') response = urllib.request.urlopen(req) text = response.read().decode('utf-8') html = etree.HTML(text) sen_list = html.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()') cleaned = ''.join([item.strip('\n') for item in sen_list]) return cleaned ``` 此方式适用于对性能有更高要求的场景，同时也能更精准地定位目标元素[^5]。 ---