### 使用Python爬虫抓取网页内容并保存为PDF 要实现将网页内容通过Python爬虫抓取并保存为PDF格式，可以按照以下方法完成。此过程涉及多个步骤，包括网页请求、HTML解析以及最终的PDF生成。 #### 工具与库的选择 为了完成这一目标，可以选择如下几个常用的Python库： - **`requests`**: 用于发送HTTP请求，获取网页源码。 - **`BeautifulSoup` 或 `lxml`**: 解析HTML文档，提取所需内容。 - **`pdfkit` 和其依赖项 `wkhtmltopdf`**: 将HTML文件转换为PDF格式[^2]。 以下是具体的操作流程： --- #### 安装必要的依赖 首先需要安装所需的Python库和外部工具： ```bash pip install requests beautifulsoup4 pdfkit ``` 注意：`pdfkit` 是基于 `wkhtmltopdf` 的封装，因此还需要下载并配置 `wkhtmltopdf` 工具。可以从官方站点下载适合您系统的版本，并将其路径添加到环境变量中[^2]。 --- #### 实现代码示例 以下是一个完整的代码示例，演示如何抓取指定URL的内容并将之保存为PDF文件。 ```python import os import requests from bs4 import BeautifulSoup import pdfkit # 设置 wkhtmltopdf 路径（如果未自动识别） config = pdfkit.configuration(wkhtmltopdf=r"C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe") # 替换为您实际的路径 def fetch_web_content(url): """ 发送 HTTP 请求并返回 HTML 内容 """ response = requests.get(url) if response.status_code != 200: raise Exception(f"Failed to load page {url}") return response.text def parse_html(html_content): """ 提取 HTML 中的主要内容部分 """ soup = BeautifulSoup(html_content, 'html.parser') # 这里可以根据实际情况调整选择器逻辑 main_content = soup.find('body') # 只保留 body 部分作为主要区域 # 清理不必要的标签（如广告、脚本等） for tag in main_content(['script', 'style']): tag.decompose() return str(main_content) def save_as_pdf(content, output_path="output.pdf"): """ 将 HTML 内容保存为 PDF 文件 """ try: pdfkit.from_string(content, output_path, configuration=config) print(f"PDF saved successfully at {output_path}") except Exception as e: print(f"Error while saving PDF: {e}") if __name__ == "__main__": target_url = input("Enter the URL of the webpage you want to convert: ") html_content = fetch_web_content(target_url) parsed_content = parse_html(html_content) save_as_pdf(parsed_content, "converted_page.pdf") ``` --- #### 关键点说明 1. **HTML清理** 在解析HTML时，通常会遇到一些不需要的部分（如JavaScript代码、样式表）。可以通过`BeautifulSoup`中的`.decompose()`方法移除这些干扰元素[^2]。 2. **PDFKit配置** 如果系统未能自动检测到`wkhtmltopdf`的位置，则需手动设置路径。这一步非常重要，因为缺少该工具会导致无法生成PDF文件。 3. **自定义CSS样式** 若要进一步美化输出的PDF，可以在调用`pdfkit`时传入额外参数来应用自定义CSS规则。例如： ```python options = { 'page-size': 'A4', 'margin-top': '0mm', 'margin-right': '0mm', 'margin-bottom': '0mm', 'margin-left': '0mm' } pdfkit.from_string(content, output_path, css='styles.css', options=options, configuration=config) ``` --- #### 性能优化与错误处理 在大规模抓取场景下，可能面临网络延迟或超时等问题。建议加入重试机制及异常捕获功能以提高程序稳定性。此外，在并发环境中可考虑使用异步框架（如`aiohttp`）提升效率[^1]。 --- ####