### 解决方案分析 #### 问题根源 使用 `requests` 和 `BeautifulSoup` 爬取图片时返回空列表的主要原因是目标网页中的图片链接可能是通过 JavaScript 动态生成的，而 `requests` 并不会执行 JavaScript 脚本。因此，直接获取 HTML 文档可能无法提取到实际的图片 URL[^2]。 --- #### 解决方案一：定位动态加载内容的实际来源 有时，尽管图片显示依赖于 JavaScript 渲染，但其真实的 URL 数据可能存储在 JSON 文件、API 接口或隐藏的 `<script>` 标签中。可以通过以下方式解决： 1. **检查网络请求**： 打开浏览器开发者工具（F12），切换至“Network”选项卡，刷新页面并观察是否有 API 或其他资源文件提供了图片的真实地址。 2. **解析嵌入式数据**： 如果图片信息嵌套在 `<script>` 标签内的 JSON 对象中，可以利用正则表达式或第三方库（如 `json` 模块）提取相关内容。 ```python import re import json import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 查找 script 标签中的 JSON 数据 scripts = soup.find_all('script') for script in scripts: if 'var data =' in str(script): # 假设变量名为 data raw_data = re.search(r'var data =(.*?);', str(script), re.DOTALL).group(1) parsed_data = json.loads(raw_data.strip()) # 提取图片链接 image_urls = [item['imageUrl'] for item in parsed_data['items']] print(image_urls) ``` --- #### 解决方案二：结合 Selenium 实现动态渲染支持 对于完全依赖 JavaScript 加载的页面，推荐使用 `Selenium` 来模拟真实浏览器环境。它能够等待页面加载完成后再提取所需数据。 ```python from selenium import webdriver from bs4 import BeautifulSoup # 启动 WebDriver options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式运行 driver = webdriver.Chrome(options=options) url = 'http://example.com' driver.get(url) # 等待页面加载完成后获取源码 page_source = driver.page_source soup = BeautifulSoup(page_source, 'html.parser') # 提取图片链接 images = [] for img_tag in soup.find_all('img'): src = img_tag.get('src') if src and ('http://' in src or 'https://' in src): images.append(src) print(images) driver.quit() ``` --- #### 解决方案三：分两步爬取原图链接 如果缩略图对应的原图需要进入详情页才能查看，则需采用两级爬取策略。第一步收集所有详情页链接，第二步逐个访问详情页提取原图 URL。 ```python import requests from bs4 import BeautifulSoup base_url = 'http://example.com' # 第一步：获取所有详情页链接 response = requests.get(base_url) soup = BeautifulSoup(response.text, 'html.parser') detail_links = [] for link in soup.select('.thumbnail a'): # 替换为实际 CSS 选择器 href = link.get('href') detail_links.append(href) # 第二步：遍历详情页提取原图链接 original_images = [] for detail_link in detail_links: full_detail_url = f"{base_url}{detail_link}" resp = requests.get(full_detail_url) detail_soup = BeautifulSoup(resp.text, 'html.parser') original_img = detail_soup.select_one('#main-image')['src'] original_images.append(original_img) print(original_images) ``` --- #### 解决方案四：调整请求参数与头部信息 部分网站会针对请求头进行校验，若发现异常 User-Agent 则拒绝服务。此时可通过伪造合法请求头绕过限制。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Accept-Language': 'en-US,en;q=0.9', 'Referer': base_url, } response = requests.get(base_url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to fetch page: {response.status_code}") ``` --- ### 总结 以上四种方法分别适用于不同的场景。优先尝试查找静态资源或嵌入式数据，因为这种方式性能更高且易于维护；而对于复杂交互式的页面，则可选用 `Selenium` 完成任务。同时注意合理设置请求头以提高成功率，并遵循目标网站的服务条款以免引发法律纠纷。 ---