### 3.1 实现基于关键词的网络数据检索代码 以下是一个完整的Python代码示例，用于根据关键词从指定网站抓取新闻标题和链接。此代码结合了引用中的方法[^2]、[^3]和[^5]，并进行了适当的扩展。 ```python import requests import re from urllib.parse import urlencode def fetch_data_by_keyword(keyword, page=1): """ 根据关键词抓取百度新闻的数据 :param keyword: 搜索关键词 :param page: 当前页码 :return: 新闻标题和链接列表 """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } base_url = 'http://www.baidu.com/s?' params = { 'wd': keyword, 'tn': 'news', 'rtt': 4, 'bsst': 1, 'cl': 2, 'pn': (page - 1) * 10 } url = base_url + urlencode(params) response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text # 使用正则表达式提取新闻标题和链接 title_pattern = r'<h3 class="news-title_1YtI1 ">(.*?)</h3>' link_pattern = r'<h3 class="news-title_1YtI1 ">.+?<a href="(.*?)"' titles = re.findall(title_pattern, html_content, re.S) links = re.findall(link_pattern, html_content, re.S) return list(zip(titles, links)) else: print(f"请求失败，状态码：{response.status_code}") return [] def save_to_file(filename, data): """ 将抓取的数据保存到文件中 :param filename: 文件名 :param data: 数据列表 """ with open(filename, 'w', encoding='utf-8') as f: for title, link in data: f.write(f"{title.strip()} -> {link}\n") if __name__ == "__main__": keyword = input("请输入搜索关键词：") pages = int(input("请输入要抓取的页数：")) all_data = [] for page in range(1, pages + 1): print(f"正在抓取第{page}页...") data = fetch_data_by_keyword(keyword, page) all_data.extend(data) if all_data: save_to_file('search_results.txt', all_data) print("数据已成功保存到 search_results.txt 文件中！") else: print("未找到相关数据。") ``` --- ### 3.2 代码说明 1. **函数`fetch_data_by_keyword`** 该函数通过关键词和页码构造请求参数，并使用正则表达式提取新闻标题和链接。它返回一个包含标题和链接的元组列表[^5]。 2. **函数`save_to_file`** 此函数将抓取的数据保存到本地文件中，方便后续查看或分析[^4]。 3. **主程序逻辑** 用户输入关键词和需要抓取的页数后，程序会逐页抓取数据，并将结果保存到文件中。如果未找到相关数据，则输出提示信息。 --- ### 3.3 注意事项 - 确保安装了`requests`库，可以通过命令`pip install requests`进行安装。 - 百度新闻页面结构可能会变化，若正则表达式无法匹配，请检查网页源码并更新表达式。 - 抓取大量数据时需遵守目标网站的`robots.txt`规则，避免频繁请求导致IP被封禁[^4]。 ---