### Python 实现自动循环抓取网页上的 PDF 链接 以下是基于所提供的引用内容以及专业知识构建的一个完整的解决方案，用于实现自动遍历网页并抓取其中的 PDF 链接。 #### 解决方案概述 为了完成此任务，可以利用 `requests` 和 `BeautifulSoup` 库来解析 HTML 页面，并通过正则表达式匹配目标链接。以下是一个具体的代码示例： ```python import requests from bs4 import BeautifulSoup import re def fetch_pdf_links(url, headers=None): """ 获取指定 URL 中的所有 PDF 链接。 参数: url (str): 待访问的目标网址。 headers (dict): 请求头信息，默认为空。 返回: list: 所有找到的 PDF 链接列表。 """ try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求状态码是否正常 soup = BeautifulSoup(response.text, "html.parser") # 使用正则表达式查找所有的 PDF 链接 link_list = [] for a_tag in soup.find_all('a', href=True): if re.search(r'\.pdf$', a_tag['href'], flags=re.IGNORECASE): full_url = a_tag['href'] if not full_url.startswith(('http://', 'https://')): base_url = "{0.scheme}://{0.netloc}".format(urllib.parse.urlparse(url)) full_url = urllib.parse.urljoin(base_url, full_url) link_list.append(full_url) return link_list except Exception as e: print(f"发生错误：{e}") return [] # 示例调用 url = "http://example.com" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36" } pdf_links = fetch_pdf_links(url, headers) print(pdf_links) ``` 上述代码实现了如下功能： - 发起 HTTP GET 请求到目标网站[^2]。 - 利用 `BeautifulSoup` 对返回的内容进行解析。 - 查找所有 `<a>` 标签中的 `href` 属性，并筛选出以 `.pdf` 结尾的链接[^3]。 - 如果发现相对路径，则将其转换为绝对路径以便后续处理。 #### 关键点说明 1. **HTTP 头部设置** 设置合适的 User-Agent 是为了避免某些站点拒绝无头部信息的请求。 2. **URL 绝对化处理** 当遇到相对路径时，需借助 `urllib.parse.urljoin()` 方法将它们转化为可直接使用的完整地址。 3. **异常捕获机制** 添加了基本的异常捕捉逻辑，确保程序在面对网络问题或其他不可预见情况时能够优雅退出而不是崩溃。 --- ###