### 使用Python模拟浏览器爬取网页上的图片 为了有效地使用Python来抓取网页上的图片，通常会采用多种方法和技术组合。对于静态页面而言，`requests`库配合`BeautifulSoup`或`lxml`用于解析HTML文档并定位图像链接是一个常见做法[^1]。 然而，在面对具有更复杂交互逻辑或是加载机制的现代Web应用时，则推荐利用像Selenium这样的工具来驱动真实浏览器实例执行自动化操作，从而绕过某些反爬虫措施，并能够处理JavaScript渲染后的DOM结构变化等问题[^4]。 具体实现方面： #### 方法一：基于 `requests` 和 `beautifulsoup` 当目标网站相对简单且不涉及过多动态内容更新的情况下，可以直接向服务器发起GET请求获取源码，再从中筛选出img标签下的src属性值作为下载地址列表。 ```python import requests from bs4 import BeautifulSoup def fetch_images(url, output_folder="images"): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') images = [] for img in soup.find_all('img'): src = img.get('src') or img.get('data-src') if not src.startswith(('http://', 'https://')): continue filename = os.path.join(output_folder, os.path.basename(src)) with open(filename, "wb") as f: image_data = requests.get(src).content f.write(image_data) images.append({"filename": filename}) return images ``` 此段代码展示了如何定义一个函数`fetch_images()`，它接受URL参数以及可选的目标文件夹名称，默认保存至当前目录下的"images"子文件夹中。该函数内部先调用`requests.get()`取得整个页面文本，接着交给`BeautifulSoup`对象做进一步剖析；遍历所有找到的`<img>`标记，检查其是否有合法有效的资源路径（即以"http(s)"开头），并将这些远程位置对应的二进制流写入本地磁盘形成副本。 #### 方法二：借助 Selenium 实现高级场景支持 如果遇到需要登录验证、异步加载或其他复杂的前端行为才能显示出来的图片集，则应该考虑引入Selenium WebDriver来进行更加真实的浏览环境仿真。这允许程序模仿人类用户的常规动作序列——比如点击按钮触发事件、滚动条移动等——直至所需元素完全呈现出来为止。 下面给出一段示范性的脚本片段，说明怎样配置ChromeDriver并通过XPath表达式选取特定区域内的所有图片节点： ```python from selenium import webdriver from selenium.webdriver.common.by import By import time import urllib.request import os driver_path = '/path/to/chromedriver' # 替换成自己的chromedriver路径 output_dir = './downloaded_pics' if not os.path.exists(output_dir): os.makedirs(output_dir) options = webdriver.ChromeOptions() prefs = {"profile.managed_default_content_settings.images": 2} options.add_experimental_option("prefs", prefs) with webdriver.Chrome(executable_path=driver_path,options=options) as driver: try: url = "your_target_website_url" driver.get(url) time.sleep(5) # 等待页面加载完成 elements = driver.find_elements(By.XPATH,"//div[@class='image-container']/a/img") for idx, elem in enumerate(elements[:min(len(elements), 10)]): # 只取前十个示例 pic_url = elem.get_attribute('src') ext = '.jpg' file_name = f"{idx}{ext}" full_file_name = os.path.join(output_dir,file_name) urllib.request.urlretrieve(pic_url,full_file_name) print(f'Downloaded {file_name}') finally: driver.quit() print("All done.") ``` 上述代码首先指定了Chromium浏览器驱动的位置，并创建了一个新的WebDriver实例。这里还设置了一些选项来自定义启动参数，例如禁用了默认情况下自动加载图片的功能（仅作演示用途）。之后进入指定网址等待片刻让全部组件充分展现开来，随后运用XPath语法精确定位到含有预期图形控件的地方，逐一遍历它们各自的SRC字段所指向的实际网络地址实施批量存储过程。 值得注意的是，在实际开发过程中还需要注意遵循各站点的服务条款，合理控制访问频率以免给对方造成不必要的负担甚至违反法律法规的风险。另外也要关注目标平台是否存在专门针对机器人的防护策略，适时调整方案确保稳定性和可靠性。