### 使用 Python 编写爬虫抓取商品名称和价格 要使用 Python 抓取网页上的商品信息（包括商品名称和价格），可以按照以下方法进行操作。这涉及到了解 HTML 结构、选择合适的库以及编写相应的代码。 #### 1. 确定目标网站结构 在开始之前，需要明确目标网站的商品页面布局及其对应的 HTML 元素标签。通常情况下，商品名称和价格会分别位于特定的 `<div>` 或其他容器中。可以通过浏览器开发者工具查看这些元素的具体属性[^3]。 #### 2. 安装必要的库 为了完成此任务，推荐安装 `requests` 和 `BeautifulSoup` 库用于发送请求和解析 HTML 数据。如果需要处理 JavaScript 渲染的内容，则可能需要用到 Selenium 工具[^4]。 - **Requests**: 发起 HTTP 请求以获取网页源码。 - **BeautifulSoup (bs4)**: 解析 HTML 文档并提取所需数据。 以下是这两个库的基本安装命令： ```bash pip install requests beautifulsoup4 ``` #### 3. 示例代码展示 下面提供一段完整的示例代码，演示如何从一个假设的目标站点上抓取商品名与对应的价格： ```python import requests from bs4 import BeautifulSoup def fetch_product_info(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' ' AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code != 200: print(f"Failed to retrieve data from {url}. Status code:", response.status_code) return [] soup = BeautifulSoup(response.text, "html.parser") products = [] # 假设商品名称存储于 class="product-title", 商品价格存储于 class="price" items = soup.find_all('div', {'class': 'item'}) for item in items: name_element = item.select_one('.product-title') price_element = item.select_one('.price') if not name_element or not price_element: continue product_name = name_element.get_text(strip=True) product_price = price_element.get_text(strip=True).replace('$','') try: product_price_float = float(product_price) except ValueError as e: print(e) product_price_float = None products.append({ 'name': product_name, 'price': product_price_float }) return products if __name__ == "__main__": url = "https://example.com/products" results = fetch_product_info(url) for result in results[:5]: print(result['name'], "-", result['price']) ``` 上述脚本定义了一个函数 `fetch_product_info()` 来接收 URL 参数，并返回包含所有产品详情字典形式的结果列表[^2]。 注意：实际应用时需调整 CSS Selectors (`'.product-title'`, `' .price '` )匹配具体网站的实际 DOM 树节点路径[^1]。 --- ###