selenium爬虫百度图片

### 使用 Selenium 实现百度图片爬虫为了实现基于 Selenium 的百度图片爬虫，以下是详细的说明以及代码示例： #### 什么是 Selenium？ Selenium 是一种自动化测试工具，主要用于 Web 应用程序的功能性和回归性测试。它支持多种编程语言绑定，其中包括 Python。通过 WebDriver 接口，Selenium 可以控制主流浏览器（如 Chrome、Firefox），从而模拟真实用户的操作行为[^1]。 #### 如何利用 Selenium 爬取百度图片？由于现代网站通常具有复杂的动态加载机制和反爬措施，传统的静态 HTML 抓取方式可能无法满足需求。而 Selenium 提供了一种解决方案——它可以启动真实的浏览器实例并执行 JavaScript 脚本，因此能够绕过许多反爬策略[^2]。下面是一个完整的例子展示如何使用 Selenium 和其他辅助库完成这一目标： ```python import time from selenium import webdriver from bs4 import BeautifulSoup import os, requests, re # 初始化 WebDriver (这里以Chrome为例) driver_path = 'path/to/chromedriver' # 替换为实际 chromedriver 路径 options = webdriver.ChromeOptions() options.add_argument('--headless') # 设置无头模式(可选)，如果需要可视化则去掉该行 browser = webdriver.Chrome(executable_path=driver_path, options=options) try: url = "https://image.baidu.com/search/index?tn=baiduimage&word=" keyword = input("请输入要搜索的关键字:") browser.get(url + keyword) # 构造请求URL并将关键字附加到查询参数中 last_height = browser.execute_script("return document.body.scrollHeight") # 获取当前页面高度 while True: browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 向下滚动到底部 time.sleep(3) # 等待新数据加载 new_height = browser.execute_script("return document.body.scrollHeight") if new_height == last_height: # 如果没有更多内容，则退出循环 break last_height = new_height soup = BeautifulSoup(browser.page_source, 'html.parser') img_tags = soup.find_all('img', class_='mimg trans') count = 0 folder_name = f"{keyword}_images" if not os.path.exists(folder_name): # 创建文件夹保存下载的图像 os.makedirs(folder_name) for tag in img_tags[:10]: # 下载前10张图片作为演示 src = tag['src'] try: response = requests.get(src, stream=True) with open(os.path.join(folder_name, str(count)+'.jpg'), 'wb') as out_file: out_file.write(response.content) count += 1 except Exception as e: print(f"Error downloading {src}: {e}") finally: browser.quit() # 关闭浏览器驱动器进程 ``` 上述脚本实现了以下几个功能： - **初始化 WebDriver**：指定 `chromedriver` 的路径，并配置选项以便于更高效地运行。 - **构建 URL 并发送 GET 请求**：根据用户输入的关键字拼接成最终的目标地址。 - **自动翻页处理**：模仿人类浏览动作不断向下拉动屏幕直到所有可用资源都被显示出来为止。 - **解析 HTML 数据提取链接信息**：运用 Beautiful Soup 解析 DOM 结构找到所有的 `<img>` 标签及其属性值。 - **存储抓取结果至本地磁盘**：将每一张符合条件的照片保存下来形成独立副本。注意：此项目依赖几个外部模块，请先安装它们再尝试运行以上代码片段: ```bash pip install selenium beautifulsoup4 requests ``` 此外还需要下载对应版本号匹配的操作系统的 [ChromeDriver](https://sites.google.com/a/chromium.org/chromedriver/downloads).

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 sentencetransformer函数