### 使用 Python 实现电商平台商品信息抓取 为了实现电商平台商品信息的抓取，可以采用多种技术和工具组合来完成这一目标。具体来说，可以通过 `Requests` 库发送 HTTP 请求获取网页内容；利用 `BeautifulSoup` 或者 `lxml` 解析 HTML 文档结构；借助 `Selenium` 模拟浏览器行为加载动态页面内容；如果平台提供了开放接口，则可以直接调用官方 API 获取所需数据[^1]。 下面是一个简单的例子，展示了如何使用这些库和技术来抓取指定关键词对应的商品列表页中的基本信息： #### 准备工作 首先安装必要的依赖包： ```bash pip install requests beautifulsoup4 lxml selenium pandas openpyxl ``` #### 编写代码逻辑 创建一个新的 Python 脚本文件，并编写如下所示的基础框架代码： ```python import time from selenium import webdriver from bs4 import BeautifulSoup import requests import csv def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) return response.text if response.status_code == 200 else None def parse_page(html_content): soup = BeautifulSoup(html_content, "html.parser") items = [] for item in soup.select('.gl-item'): try: product_info = {} title_tag = item.find("div", class_="p-name").find("em") price_tag = item.find("strong", class_="J_price") shop_name_tag = item.find("a", class_='curr-shop') product_info['title'] = title_tag.get_text(strip=True) if title_tag else '' product_info['price'] = float(price_tag.get_text().strip()) if price_tag and price_tag.get_text() != '' else 0.0 product_info['shopName'] = shop_name_tag.get_text(strip=True) if shop_name_tag else '' items.append(product_info) except Exception as e: print(f'Error parsing page: {e}') return items if __name__ == '__main__': keyword = input('请输入您要查询的商品名称:') base_url = f'https://search.jd.com/Search?keyword={keyword}&enc=utf-8' driver = webdriver.Chrome() driver.get(base_url) time.sleep(3) # Wait until the dynamic content loads html_source = driver.page_source products_data = parse_page(html_source) with open(f'{keyword}_products.csv', mode='w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=['title', 'price', 'shopName']) writer.writeheader() writer.writerows(products_data) print(f'Successfully saved data to ./{keyword}_products.csv.') ``` 这段程序实现了从京东商城搜索给定关键字的产品列表，并将结果保存为CSV文件的功能。需要注意的是，在实际操作过程中可能还需要考虑更多细节问题，比如异常处理、反爬机制应对措施等[^2]。