### Python 爬虫抓取京东商品数据并存储至 Excel 文件 为了实现从京东网站抓取商品信息并将这些信息存入Excel文件，可以采用以下方法： #### 准备工作 安装必要的库： ```bash pip install requests beautifulsoup4 pandas openpyxl ``` #### 获取网页内容 利用`requests`库向目标页面发起HTTP请求，并使用BeautifulSoup解析HTML文档结构。 ```python import requests from bs4 import BeautifulSoup def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: raise Exception('Failed to load page {}'.format(response.url)) ``` #### 解析商品列表 根据给定的商品项标签定位到具体位置，提取所需字段。这里假设要获取的是商品名称、价格等基本信息[^3]。 ```python def parse_goods(html): soup = BeautifulSoup(html, 'html.parser') goods_items = [] items = soup.find_all('li', class_='gl-item') # 查找所有符合条件的商品条目 for item in items: try: name = item.select_one('.p-name em').get_text(strip=True).replace('\n', '') price = float(item.select_one('.p-price i').text.strip()) good_info = {'name': name, 'price': price} goods_items.append(good_info) except AttributeError as e: continue return goods_items ``` #### 构建URL序列 对于分页加载的情况，可以通过观察不同页面之间的差异规律构建动态链接集合。例如，在本案例中，每一页仅参数中的`page`数值发生变化[^4]。 ```python base_url = "https://list.jd.com/list.html?cat=9987%2C653%2C655&page={}" urls = [base_url.format(page_num) for page_num in range(1, 11)] ``` #### 将数据写入Excel 当收集完全部商品记录之后，借助Pandas框架轻松完成表格化处理以及最终导出操作。 ```python import pandas as pd all_data = [] for url in urls: html_content = get_html(url) parsed_data = parse_goods(html_content) all_data.extend(parsed_data) df = pd.DataFrame(all_data) output_file_path = './jd_products.xlsx' df.to_excel(output_file_path, index=False) print(f'Data has been saved into {output_file_path}') ``` 上述过程展示了完整的流程——从准备环境配置直至成功保存结果于本地磁盘上的Excel文档内。