### 爬取商品信息和图片的基本方法 使用 Python 爬虫获取购物网站的商品信息和图片，通常包括以下几个步骤： 1. **分析网页结构** 使用开发者工具（F12）查看网页的 HTML 源码，找到商品信息（如名称、价格、评价数等）和图片链接的位置。例如，在京东商城中，商品图片的 URL 通常可以通过正则表达式提取，例如 `//.*\.360buyimg.com/n8/.*\.jpg` [^3]。 2. **发送 HTTP 请求** 使用 `requests` 或 `urllib` 库向目标网站发送请求，获取页面内容。例如： ```python import requests url = "https://www.jd.com/search?keyword=汉服" response = requests.get(url) html_content = response.text ``` 3. **解析 HTML 内容** 使用 `BeautifulSoup` 或 `lxml` 解析 HTML，提取所需数据。例如，使用 BeautifulSoup 提取商品名称和价格： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') items = soup.find_all('li', class_='gl-item') for item in items: name = item.find('div', class_='p-name').text.strip() price = item.find('div', class_='p-price').text.strip() print(f"商品名称: {name}, 价格: {price}") ``` 4. **爬取商品图片** 使用正则表达式或 CSS 选择器提取图片链接，并使用 `requests` 下载图片： ```python import re import os pattern = re.compile(r'//.*\.360buyimg.com/n8/.*\.jpg') image_urls = pattern.findall(html_content) if not os.path.exists('images'): os.makedirs('images') for i, img_url in enumerate(image_urls): img_data = requests.get('https:' + img_url).content with open(f'images/image_{i}.jpg', 'wb') as handler: handler.write(img_data) ``` 5. **数据存储** 将提取的信息保存到文件或数据库中。可以使用 `pandas` 保存为 CSV 文件： ```python import pandas as pd df = pd.DataFrame(columns=['商品名称', '价格']) # 假设 data 是一个包含字典的列表 df = pd.DataFrame(data) df.to_csv('products.csv', index=False, encoding='utf-8-sig') ``` ### 注意事项 - **反爬机制**：一些网站会设置反爬虫机制，例如 IP 封锁、验证码等。为了避免被封禁，可以使用代理 IP 和设置请求头（headers）模拟浏览器访问。 - **法律与道德**：确保在合法范围内进行爬虫操作，遵守网站的 robots 协议，避免对服务器造成过大压力。 --- ###