### 使用 Python 实现基于关键词的多网站内容批量抓取 为了实现对同一关键词在不同网站上进行批量内容抓取，可以采用如下方案： #### 准备工作 安装必要的库来支持网络请求和 HTML 解析操作。通常会使用 `requests` 库来进行 HTTP 请求，并利用 `BeautifulSoup` 或者 `lxml` 来解析网页结构。 ```bash pip install requests beautifulsoup4 lxml ``` #### 编写脚本框架 创建一个函数用于构建针对特定搜索引擎（如百度、谷歌等）的查询链接，以及另一个函数负责发送HTTP GET请求并下载页面源码保存到本地磁盘中。 ```python import os from urllib.parse import quote_plus as url_encode import requests def build_search_url(keyword, site="baidu.com"): base_urls = { "google.com": f"https://www.google.com/search?q={url_encode(keyword)}", "baidu.com": f"https://www.baidu.com/s?wd={url_encode(keyword)}" } return base_urls.get(site) def fetch_page_content(url, output_dir="./pages/"): try: response = requests.get(url) filename = os.path.join(output_dir, url.split('/')[-1][:60]) + ".html" with open(filename, 'w', encoding='utf-8') as file: file.write(response.text) print(f"Saved {filename}") except Exception as e: print(e) ``` 此部分代码定义了两个主要功能：一个是根据给定的关键字生成对应的搜索URL；另一个是从指定网址获取HTML文档并将其存储至本地目录内[^1]。 #### 处理多个站点 通过循环遍历目标列表中的各个域名地址，调用上述编写的辅助函数完成整个流程自动化执行过程。 ```python if __name__ == "__main__": keywords = ["机器学习", "人工智能"] sites = ["baidu.com"] for keyword in keywords: for site in sites: search_url = build_search_url(keyword=keyword, site=site) if not search_url: continue fetch_page_content(search_url) ``` 这段程序片段展示了如何迭代不同的关键字组合与选定的目标站群，从而达到广泛搜集相关信息的目的[^2]。 请注意，在实际应用过程中还需要考虑更多细节问题，比如设置合理的延时防止被封禁IP访问权限、处理分页情况下的连续采集逻辑等等。