### 使用 Python 进行网页 PDF 文件的爬取 对于从网页上批量获取PDF文件的任务，可以采用Python编写脚本实现自动化操作。这通常涉及到两个主要部分：一是提取目标网站上的PDF链接；二是下载并保存这些PDF文件到本地。 #### 提取PDF链接 为了定位页面内的所有PDF资源链接，`BeautifulSoup`库能够解析HTML文档结构，配合正则表达式筛选出`.pdf`结尾的URL路径[^1]。下面是一个简单的例子来展示如何完成这项工作： ```python from bs4 import BeautifulSoup import requests import re url = 'http://example.com' # 替换成实际的目标网址 response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 查找所有的a标签，并过滤得到href属性以.pdf结尾的内容 pdf_links = [] for link in soup.find_all('a', href=True): if '.pdf' in link['href']: pdf_links.append(link['href']) print(pdf_links) ``` 这段代码会打印出当前页面中存在的所有PDF文件链接列表。 #### 下载并保存PDF文件 一旦获得了有效的PDF链接之后，就可以利用`requests`模块发起HTTP请求从而获得二进制数据流，再将其写入至指定位置创建新的PDF文件[^2]。这里给出一段示范性的代码片段用于说明此过程： ```python import os def download_pdf_from_url(file_name, file_path="", url=""): try: response = requests.get(url, stream=True) with open(os.path.join(file_path,file_name), "wb") as f: for chunk in response.iter_content(chunk_size=1024): if chunk: # filter out keep-alive new chunks f.write(chunk) return True except Exception as e: print(f"Failed to download {file_name}. Error message: {str(e)}") return False if __name__ == '__main__': base_dir = './downloaded_pdfs/' # 设置存储目录 if not os.path.exists(base_dir): os.makedirs(base_dir) for idx, link in enumerate(pdf_links[:5]): # 假设只下载前五个作为演示 filename = str(idx)+".pdf" fullpath = os.path.join(base_dir,filename) result = download_pdf_from_url(filename,base_dir,link) if result: print(f"{filename} has been successfully downloaded.") else: print(f"There was an error downloading {filename}") ``` 上述程序将会遍历之前收集好的PDF链接数组(`pdf_links`)，依次调用函数`download_pdf_from_url()`去尝试下载每一个文件，并按照顺序命名存放在设定好的文件夹下。 如果遇到更复杂的情况比如需要登录或者处理JavaScript动态加载的数据，则可能还需要引入其他工具如Selenium WebDriver模拟浏览器行为访问站点，以及考虑设置合适的headers参数模仿真实用户的网络环境等额外措施。 当不需要将网页转成PDF而是直接保存为HTML格式时，同样可以通过调整上面提到的方法轻松做到这一点。此时只需改变所寻找的对象类型即可——即改为匹配指向.html或其他形式静态页面的超链接。至于其中包含的图片资源，在保存整个HTML的同时也会一并保留下来，因为它们通常是通过相对或绝对路径被引用在源码之中。 另外一种方式是在Bash环境中运行命令行工具wkhtmltopdf来进行HTML向PDF转换的工作。这种方式适合那些已经拥有现成HTML文件并且希望快速高效地转化为PDF的情形。