### 使用Python编写的网页爬虫抓取百度搜索结果的方法 #### 准备工作 为了实现这一目标，需要安装几个必要的库。可以通过pip工具轻松完成这些依赖项的安装。 ```bash pip install requests beautifulsoup4 lxml ``` #### 发送HTTP请求并获取HTML源码 利用`requests`库向指定URL发起GET请求，模拟浏览器行为访问百度搜索引擎页面。需要注意的是，在实际操作过程中应当遵循robots协议以及网站的相关规定[^1]。 ```python import requests def get_html(url, params=None): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url=url, headers=headers, params=params) if response.status_code == 200: return response.text else: raise Exception('Failed to load page {}'.format(response.url)) ``` #### 解析HTML文档结构 通过BeautifulSoup解析返回的数据流，定位到包含搜索条目的部分，并从中抽取所需的信息字段——标题和对应的超链接地址。 ```python from bs4 import BeautifulSoup def parse_baidu_search(html_content): soup = BeautifulSoup(html_content, "lxml") items = [] for result in soup.select('.c-container'): try: title = result.h3.a.get_text(strip=True) link = result.h3.a['href'] item = {'title': title, 'link': link} items.append(item) except AttributeError as e: continue return items ``` #### 主逻辑流程控制 定义主函数负责组装查询参数、调用上述辅助方法执行具体任务并将最终结果呈现给用户查看。 ```python if __name__ == '__main__': keyword = input("请输入要搜索的关键字:") url = f'https://www.baidu.com/s' query_params = {'wd': keyword} html_data = get_html(url=url, params=query_params) search_results = parse_baidu_search(html_data) for idx, entry in enumerate(search_results[:5], start=1): # 只显示前五个结果作为示例 print(f'{idx}. {entry["title"]}\n Link: {entry["link"]}') ```