### 编写网络爬虫抓取百度搜索引擎上的厦门大学相关网页内容 为了实现这一目标，可以采用 Python 中的 `requests` 和 `BeautifulSoup` 库来发送 HTTP 请求并解析 HTML 文档。需要注意的是，在实际操作前应当阅读网站的服务条款，确保行为合法合规。 #### 准备工作 安装必要的库可以通过 pip 完成： ```bash pip install requests beautifulsoup4 lxml ``` #### 发送请求与处理响应 构建一个简单的函数用于向百度提交查询请求，并获取返回的结果页： ```python import requests from bs4 import BeautifulSoup def fetch_baidu_search_results(query="厦门大学"): url = f"https://www.baidu.com/s?wd={query}" headers = { 'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko)' 'Chrome/91.0.4472.124 Safari/537.36') } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') results = [] for item in soup.find_all('div', class_='result c-container'): title = item.h3.get_text(strip=True) if item.h3 else '' link = item.a['href'] if item.a and 'href' in item.a.attrs else '' snippet_divs = item.select('.c-abstract') description = ''.join([d.get_text(separator=' ', strip=True) for d in snippet_divs])[:200] result_item = {'title': title, 'link': link, 'description': description} results.append(result_item) return results ``` 此段代码定义了一个名为 `fetch_baidu_search_results()` 的函数，它接受关键词参数，默认设置为抓取“厦门大学”的信息[^2]。该函数会构造出针对特定词条的 URL 地址并向其发起 GET 方法调用；随后利用 Beautiful Soup 解析服务器反馈的数据流，提取每条记录中的标题、链接以及简介文字等内容。 #### 输出结果展示 最后一步就是打印或保存所获得的信息列表了： ```python if __name__ == '__main__': search_results = fetch_baidu_search_results() for idx, res in enumerate(search_results, start=1): print(f"{idx}. {res['title']}\n Link: {res['link']}") print(f" Description:\n{res['description']}\n") ``` 上述脚本能够有效地从百度搜索页面中抽取有关厦门大学的具体资料片段。不过值得注意的是，由于反爬机制的存在，频繁访问可能会触发验证码验证或其他形式的安全措施，因此建议合理控制频率以免给对方服务器造成负担。