### 使用Python提取网页中的所有JavaScript文件并保存到本地 为了实现从网页中提取所有JavaScript文件并保存到本地，可以使用`requests`库发送HTTP请求获取网页内容，并使用`BeautifulSoup`解析HTML文档以提取所有的`<script>`标签和`src`属性指向的JS文件链接。以下是详细的实现方法： #### 1. 安装依赖库 需要安装以下Python库： - `requests`：用于发送HTTP请求。 - `beautifulsoup4`：用于解析HTML文档。 - `urllib.parse`：用于处理URL。 可以通过以下命令安装这些库： ```bash pip install requests beautifulsoup4 ``` #### 2. 实现代码 以下是一个完整的代码示例，用于提取网页中的所有JavaScript文件并保存到本地： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse def is_valid_url(url): """检查URL是否有效""" parsed = urlparse(url) return bool(parsed.netloc) and bool(parsed.scheme) def download_js_file(js_url, save_path): """下载JS文件并保存到本地""" try: response = requests.get(js_url, timeout=10) if response.status_code == 200: with open(save_path, 'wb') as f: f.write(response.content) print(f"成功下载: {js_url} -> {save_path}") else: print(f"无法下载: {js_url}, 状态码: {response.status_code}") except Exception as e: print(f"下载失败: {js_url}, 错误: {e}") def extract_and_save_js(url, output_dir): """提取并保存网页中的所有JS文件""" if not os.path.exists(output_dir): os.makedirs(output_dir) try: response = requests.get(url, timeout=10) if response.status_code != 200: print(f"无法访问网页: {url}, 状态码: {response.status_code}") return soup = BeautifulSoup(response.text, 'html.parser') script_tags = soup.find_all('script', src=True) for tag in script_tags: js_url = tag['src'] # 处理相对路径 full_url = urljoin(url, js_url) if not is_valid_url(full_url): print(f"跳过无效URL: {full_url}") continue file_name = os.path.basename(full_url) save_path = os.path.join(output_dir, file_name) download_js_file(full_url, save_path) except Exception as e: print(f"发生错误: {e}") # 示例用法 web_url = "https://example.com" # 替换为目标网页URL output_directory = "./js_files" # 替换为保存JS文件的目录 extract_and_save_js(web_url, output_directory) ``` #### 3. 代码说明 - **`is_valid_url`**：验证URL是否有效[^1]。 - **`download_js_file`**：下载指定的JS文件并保存到本地。 - **`extract_and_save_js`**：解析网页中的所有`<script>`标签，并提取`src`属性指向的JS文件链接，然后逐个下载并保存。 - **`urljoin`**：处理相对路径，将其转换为绝对路径[^3]。 #### 4. 异常处理 在实际应用中，可能会遇到网络超时、断网或其他异常情况。上述代码通过`try-except`块实现了基本的异常捕获与处理机制，确保程序在遇到错误时不会崩溃[^4]。 ---