### 动态加载图片的处理方式 在现代网页中，很多图片内容是通过 JavaScript 动态加载的，这意味着传统的静态 HTML 解析方法无法直接获取这些图片链接。为了处理这类动态加载的图片，需要使用能够执行 JavaScript 的工具来模拟浏览器行为，从而获取完整的页面内容。 一种常见的方式是使用 **Selenium**，它是一个支持多种浏览器自动化操作的工具，能够加载 JavaScript 并获取最终渲染后的页面内容。例如，在 Instagram 这类需要点击或滚动才能加载更多图片的网站中，Selenium 可以模拟用户操作，实现动态内容的抓取[^3]。 #### 使用 Selenium 获取动态图片链接 以下是一个使用 Selenium 抓取动态加载图片链接的示例代码： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from selenium.common.exceptions import WebDriverException import time import os def download_dynamic_images(url, folder_name, chromedriver_path): """ 使用 Selenium 抓取动态加载图片链接并下载 :param url: 目标网页链接 :param folder_name: 保存图片的文件夹名称 :param chromedriver_path: ChromeDriver 的路径 """ # 创建浏览器驱动 options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式，不弹出浏览器窗口 options.add_argument('--disable-gpu') options.add_argument('--no-sandbox') try: driver = webdriver.Chrome(service=Service(chromedriver_path), options=options) except WebDriverException as e: print(f"无法启动浏览器：{e}") return try: driver.get(url) # 模拟滚动加载更多图片 for _ in range(3): driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(2) # 等待图片加载 # 获取图片链接 img_elements = driver.find_elements(By.TAG_NAME, 'img') img_urls = [img.get_attribute('src') for img in img_elements if img.get_attribute('src')] # 创建文件夹 if not os.path.exists(folder_name): os.makedirs(folder_name) # 下载图片 for idx, img_url in enumerate(img_urls): try: response = requests.get(img_url, timeout=10) if response.status_code == 200: file_extension = os.path.splitext(img_url)[1] or ".jpg" file_path = os.path.join(folder_name, f"dynamic_image_{idx}{file_extension}") with open(file_path, 'wb') as handler: handler.write(response.content) print(f"已保存图片：{file_path}") else: print(f"图片请求失败，状态码：{response.status_code}") except Exception as e: print(f"下载图片时出现错误：{e}") except Exception as e: print(f"浏览器操作过程中出现错误：{e}") finally: driver.quit() # 示例调用 if __name__ == "__main__": target_url = "https://www.instagram.com/urnotchrislee/?hl=zh-cn" save_folder = "动态加载图片" chrome_driver_path = "/path/to/chromedriver" download_dynamic_images(target_url, save_folder, chrome_driver_path) ``` #### 替代方案：直接调用 API 接口 在某些网站中，动态加载的图片内容实际上是通过 Ajax 请求从服务器获取的。此时，可以通过浏览器的开发者工具（F12）分析网络请求，找到图片数据的 API 接口，直接请求该接口获取图片链接，从而避免使用浏览器自动化工具。这种方式通常效率更高，也更适用于大规模数据抓取[^2]。 例如，在 Instagram 中，图片链接可以通过分析 XHR 请求找到对应的 GraphQL 接口，通过构造请求直接获取 JSON 数据并提取图片链接。 #### 性能与稳定性优化 - **请求频率控制**：避免频繁请求导致 IP 被封，可以在每次请求之间加入 `time.sleep()`。 - **异常处理**：在网络请求和文件操作中加入 `try-except` 块，防止程序因个别失败操作而崩溃。 - **使用代理 IP**：在大规模爬取时，可以配置代理池以降低被封禁的风险。 - **无头模式**：使用 `--headless` 参数运行浏览器自动化工具，可以减少资源消耗。 #### 注意事项 - **合法性**：在爬取任何网站前，请确保遵守其 `robots.txt` 文件中的规定，避免侵犯版权或违反网站政策。 - **反爬机制**：部分网站可能采用验证码、IP 限制等反爬机制，需在代码中加入相应的处理逻辑。