### 使用 Python 抓取百度搜索结果的方法 要通过 Python 实现抓取百度搜索引擎的结果，可以按照以下方式操作。此过程主要依赖于 `requests` 和 `BeautifulSoup` 这两个库来进行网络请求和数据解析。 #### 安装必要的库 在开始之前，请确保安装了所需的第三方库： ```bash pip install requests beautifulsoup4 lxml ``` #### 发送 HTTP 请求 为了模拟浏览器行为并获取网页内容，可以通过设置 User-Agent 来伪装成真实用户的访问请求[^1]。 ```python import requests from bs4 import BeautifulSoup headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } url = "https://www.baidu.com/s?wd=关键词" # 替换为实际查询词 response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: raise Exception(f"Failed to fetch data: {response.status_code}") ``` #### 解析 HTML 数据 利用 `BeautifulSoup` 对返回的 HTML 文档进行结构化处理，从而提取目标信息（如标题、摘要以及链接地址）。这里采用 XPath 或 CSS Selector 的方式进行定位[^2]。 ```python soup = BeautifulSoup(html_content, 'lxml') titles = soup.select('h3.t') # 获取所有标题标签 descriptions = soup.find_all(class_='c-abstract') # 提取消息描述部分 links = [tag['href'] for tag in soup.select('.t a')] # 收集跳转URLs for idx, title_tag in enumerate(titles[:min(len(titles), len(links))]): try: print("Title:", titles[idx].get_text(strip=True)) print("Description:", descriptions[idx].get_text(strip=True)) print("Link:", links[idx]) print("-"*80) except IndexError as e: continue ``` #### 存储采集到的数据 最后一步就是将筛选后的有效资源存储至本地文件或者数据库中以便后续查阅使用[^2]。 ```python data_list = [] for t, d, l in zip(titles, descriptions, links): item = {"title": t.get_text(strip=True), "description": d.get_text(strip=True), "link": l} data_list.append(item) with open('search_results.json', 'w', encoding='utf-8') as f: json.dump(data_list, f, indent=4, ensure_ascii=False) print("Data saved successfully!") ``` 以上即是一个完整的基于 Python 的百度搜索结果爬虫程序框架说明及其具体实现代码片段示例。