### Python 实现爬取文献并保存到文件夹的代码 以下是基于用户需求设计的一个完整的 Python 程序，该程序可以模拟从指定网站抓取文献链接，并将其下载至本地文件夹中。 #### 主要功能描述 1. 使用 `requests` 和 `BeautifulSoup` 库解析网页内容。 2. 提取目标页面上的所有文献链接。 3. 下载这些文献并将它们存储到指定的文件夹中。 ```python import os import requests from bs4 import BeautifulSoup class LiteratureSpider: def __init__(self, url="https://example.com/literatures", save_path="./literatures"): """ 文献爬虫构造函数 :param url: 目标网页地址 :param save_path: 文件保存路径 """ self.url = url self.save_path = save_path if not os.path.exists(save_path): # 如果文件夹不存在，则创建它 os.makedirs(save_path) def fetch_literature_links(self): """ 获取目标网页中的所有文献链接 """ response = requests.get(self.url) soup = BeautifulSoup(response.text, 'html.parser') links = [] for a_tag in soup.find_all('a'): # 查找所有的<a>标签 href = a_tag.get('href') if href and (".pdf" in href or ".doc" in href): # 假设只关注.pdf和.doc类型的文档 links.append(href) return links def download_literature(self, link): """ 下载单个文献并保存到本地 :param link: 单个文献的URL """ try: file_name = os.path.join(self.save_path, os.path.basename(link)) with open(file_name, 'wb') as f: literature_data = requests.get(link).content f.write(literature_data) print(f"{file_name} 已成功下载") except Exception as e: print(f"下载 {link} 失败: {e}") def run(self): """ 运行爬虫逻辑 """ links = self.fetch_literature_links() for link in links: full_url = link if "http://" in link or "https://" in link else self.url + "/" + link self.download_literature(full_url) if __name__ == "__main__": spider = LiteratureSpider(url="https://example-literature-site.com", save_path="./downloaded_papers") spider.run() ``` --- #### 关键点说明 1. **初始化参数设置** - 构造器方法 (`__init__`) 中定义了目标网址 (`url`) 和保存路径 (`save_path`)。如果指定的保存路径不存在，则会自动创建[^1]。 2. **获取文献链接** - 方法 `fetch_literature_links()` 利用 `BeautifulSoup` 解析 HTML 页面，查找 `<a>` 标签下的所有链接，并筛选出 `.pdf` 或 `.doc` 类型的文献链接[^2]。 3. **下载文献** - 方法 `download_literature()` 接收一个文献 URL 参数，通过 `requests.get()` 请求其二进制数据流，并将其写入本地磁盘文件中[^3]。 4. **异常处理** - 在实际应用中可能会遇到网络错误或其他不可预见的情况，因此加入了基本的异常捕获机制来提高稳定性[^4]。 5. **运行流程** - 执行 `run()` 函数即可启动整个爬虫过程，依次完成链接提取与文件下载工作。 --- #### 编码注意事项 为了防止因字符集不匹配而导致乱码现象，在读写任何外部资源时都应显式声明所使用的编码格式（如 UTF-8）。这一步骤对于跨平台兼容性和国际化支持尤为重要[^4]。 ---