### 使用Python批量下载网页中的文件 在实现网页中下载链接的批量下载时，可以采用多种方法。以下是几种常见的实现方式，并结合实际情况进行说明。 #### 方法一：使用`urllib`模块 `urllib`是Python内置的一个模块，能够轻松实现简单的HTTP请求。以下是一个示例代码，用于从网页中提取下载链接并进行批量下载[^1]： ```python import urllib.request import re # 获取网页内容 url = "http://example.com" # 替换为目标网页地址 response = urllib.request.urlopen(url) html = response.read().decode('utf-8') # 提取下载链接 pattern = r'(https?://[^\s]+\.zip)' # 匹配.zip文件链接 urls = re.findall(pattern, html) # 批量下载文件 for idx, file_url in enumerate(urls): print(f"Downloading {file_url}...") filename = f"file_{idx}.zip" urllib.request.urlretrieve(file_url, filename) ``` 这种方法适用于下载小文件，但如果需要下载大文件，则可能占用过多内存[^4]。 #### 方法二：使用`requests`和`re`模块 `requests`库功能强大且易于使用，适合处理复杂的HTTP请求。以下是一个示例代码，展示如何通过正则表达式提取链接并下载文件[^1]： ```python import requests import re # 获取网页内容 url = "http://example.com" # 替换为目标网页地址 response = requests.get(url) html = response.text # 提取下载链接 pattern = r'(https?://[^\s]+\.rar)' # 匹配.rar文件链接 urls = re.findall(pattern, html) # 批量下载文件 for idx, file_url in enumerate(urls): print(f"Downloading {file_url}...") filename = f"file_{idx}.rar" response = requests.get(file_url) with open(filename, 'wb') as f: f.write(response.content) ``` 此方法同样适用于小文件下载，但不推荐用于大文件下载[^4]。 #### 方法三：使用`wget`模块 `wget`是一个专门用于下载文件的工具，支持断点续传等功能。以下是一个示例代码，展示如何批量下载文件[^2]： ```python import wget # 下载链接列表 base_url = "http://dataset.isr.uc.pt/ISRUC_Sleep/subgroupI/" save_path = "E:\\ISRUC-SLEEP\\1.0\\" for index in range(1, 101): # 假设需要下载1到100的文件 url = base_url + str(index) + ".rar" path = save_path + str(index) + ".rar" wget.download(url, path) ``` 这种方法简单易用，尤其适合批量下载固定格式的文件[^2]。 #### 方法四：支持大文件下载的实现 对于大文件下载，建议使用流式下载以避免占用过多内存。以下是一个示例代码[^4]： ```python import requests def download_large_file(url, filename): response = requests.get(url, stream=True) chunk_size = 1024 * 1024 # 每次下载1MB with open(filename, 'wb') as f: for chunk in response.iter_content(chunk_size=chunk_size): if chunk: f.write(chunk) # 示例调用 url = "http://example.com/large_file.zip" filename = "large_file.zip" download_large_file(url, filename) ``` 这种方法通过分块下载文件内容，有效降低了内存占用。 --- ### 注意事项 1. 在实际应用中，需确保目标网站允许爬虫访问，遵守相关法律及网站规则。 2. 如果下载链接需要登录或授权，请添加相应的认证信息。 3. 根据具体需求调整正则表达式，以匹配正确的下载链接。 ---