构建一个基于Python的京东商品价格可视化分析系统，核心在于从数据采集、处理到展示的完整链路[ref_1][ref_2][ref_3]。下面将围绕这一主题，通过具体的技术栈选择、实现步骤和代码示例进行详细说明。 #### **一、 系统架构与核心技术栈** 一个典型的京东价格可视化系统通常采用前后端分离的架构，以实现数据处理和界面展示的解耦，提升开发效率和用户体验。 | 技术层面 | 常用技术方案 | 说明 | | :--- | :--- | :--- | | **数据采集** | Requests, Selenium, Scrapy[ref_2][ref_3][ref_5] | `Requests` 适用于简单静态页面，`Selenium` 可应对动态渲染页面， `Scrapy` 适合大规模、结构化爬取。 | | **数据存储** | MySQL, MongoDB, CSV[ref_1][ref_3][ref_4] | `MySQL` 适合存储结构化的商品价格、评分等信息，便于关联查询[ref_1][ref_4]。 | | **数据处理与分析** | Pandas, NumPy, Jieba[ref_2][ref_4] | `Pandas` 用于数据清洗和聚合， `Jieba` 可用于分析用户评论生成词云[ref_4]。 | | **可视化后端** | Flask, Django[ref_3][ref_4][ref_5] | `Flask` 轻量灵活，适合构建RESTful API；`Django` 功能全面，自带管理后台[ref_1]。 | | **可视化前端** | ECharts, Pyecharts[ref_1][ref_3][ref_4][ref_5] | `ECharts` 功能强大，`Pyecharts` 是其Python接口，方便在Web框架中生成图表。 | | **图表渲染** | Matplotlib/Seaborn, Plotly[ref_2] | `Matplotlib` 适合生成静态分析报告图表，`Plotly` 可生成交互式图表。 | #### **二、 核心实现步骤与代码示例** **1. 数据采集 (爬虫)** 首先需要通过爬虫获取京东商品的价格数据。这里以使用 `requests` 和 `BeautifulSoup` 抓取搜索页为例。由于京东页面反爬机制较强，实际项目中可能需要处理Cookie、User-Agent以及使用 `Selenium` 模拟浏览器操作[ref_5]。 ```python # 代码示例：使用Requests获取商品列表页信息 import requests from bs4 import BeautifulSoup import pandas as pd def fetch_jd_goods(keyword, page=1): """抓取京东搜索页商品信息""" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...', } url = f'https://search.jd.com/Search?keyword={keyword}&page={page}' try: resp = requests.get(url, headers=headers, timeout=10) resp.encoding = 'utf-8' soup = BeautifulSoup(resp.text, 'html.parser') goods_list = [] # 根据实际页面结构解析，此处为示例选择器 items = soup.select('li.gl-item') for item in items: try: title = item.select_one('.p-name a em').get_text(strip=True) price = item.select_one('.p-price i').get_text(strip=True) # 可能还有店铺、评论数等信息 shop = item.select_one('.p-shop a').get_text(strip=True) if item.select_one('.p-shop a') else '未知' goods_list.append({ 'title': title, 'price': float(price), 'shop': shop, 'keyword': keyword }) except Exception as e: print(f"解析单个商品出错: {e}") continue return goods_list except Exception as e: print(f"请求出错: {e}") return [] # 测试抓取 if __name__ == '__main__': data = fetch_jd_goods('牛奶', 1) df = pd.DataFrame(data) print(df.head()) ``` **2. 数据存储与清洗** 将爬取到的数据存入数据库以便后续分析，并使用 `Pandas` 进行清洗。 ```python # 代码示例：数据清洗与存储到MySQL import pymysql from sqlalchemy import create_engine import pandas as pd # 假设已有包含爬取数据的DataFrame `raw_df` def clean_and_store(raw_df): """数据清洗与入库""" # 1. 数据清洗 # 去除重复项 df_cleaned = raw_df.drop_duplicates(subset=['title', 'shop'], keep='first') # 处理缺失值 (例如，价格缺失的条目可能无效) df_cleaned = df_cleaned.dropna(subset=['price']) # 价格异常值处理 (例如，价格过高或为0) df_cleaned = df_cleaned[(df_cleaned['price'] > 0) & (df_cleaned['price'] < 10000)] # 2. 存储到MySQL # 使用SQLAlchemy创建连接引擎 engine = create_engine('mysql+pymysql://username:password@localhost:3306/jd_analysis?charset=utf8mb4') # 将DataFrame写入数据库的`goods_price`表 try: df_cleaned.to_sql(name='goods_price', con=engine, if_exists='append', index=False) print(f"成功入库 {len(df_cleaned)} 条数据") except Exception as e: print(f"数据入库失败: {e}") return df_cleaned # 调用示例 # cleaned_df = clean_and_store(pd.DataFrame(fetch_jd_goods('牛奶', 1))) ``` **3. 数据分析与可视化图表生成** 使用 `Pandas` 进行数据聚合，并结合 `Pyecharts` 或 `Matplotlib` 生成可视化图表。以下示例展示价格分布和价格趋势分析。 ```python # 代码示例：使用Pyecharts生成价格分布直方图和店铺价格对比柱状图 from pyecharts.charts import Bar, Line, Pie, Grid from pyecharts import options as opts import pandas as pd import pymysql # 从数据库读取数据 def load_data_from_db(): connection = pymysql.connect(host='localhost', user='root', password='yourpassword', database='jd_analysis') sql = "SELECT shop, price, crawl_time FROM goods_price WHERE keyword='牛奶'" df = pd.read_sql(sql, connection) connection.close() return df def create_price_visualization(df): """创建价格可视化图表""" # 1. 价格分布直方图 # 对价格进行分段 bins = [0, 50, 100, 150, 200, 300, 500, 1000] labels = ['0-50', '51-100', '101-150', '151-200', '201-300', '301-500', '501-1000'] df['price_range'] = pd.cut(df['price'], bins=bins, labels=labels, right=False) price_dist = df['price_range'].value_counts().sort_index() bar_price_dist = ( Bar() .add_xaxis(price_dist.index.tolist()) .add_yaxis("商品数量", price_dist.values.tolist()) .set_global_opts( title_opts=opts.TitleOpts(title="牛奶商品价格区间分布"), xaxis_opts=opts.AxisOpts(name="价格区间(元)"), yaxis_opts=opts.AxisOpts(name="商品数量"), ) ) # 2. 按店铺计算平均价格（取前10） shop_avg_price = df.groupby('shop')['price'].mean().sort_values(ascending=False).head(10) bar_shop_price = ( Bar() .add_xaxis(shop_avg_price.index.tolist()) .add_yaxis("平均价格", [round(p, 2) for p in shop_avg_price.values.tolist()]) .reversal_axis() .set_global_opts( title_opts=opts.TitleOpts(title="店铺平均价格排名 (TOP10)"), xaxis_opts=opts.AxisOpts(name="平均价格(元)"), yaxis_opts=opts.AxisOpts(name="店铺名称"), ) ) # 3. 价格趋势图 (假设数据包含时间字段`crawl_time`) if 'crawl_time' in df.columns: df['crawl_date'] = pd.to_datetime(df['crawl_time']).dt.date daily_avg_price = df.groupby('crawl_date')['price'].mean() line_trend = ( Line() .add_xaxis([str(d) for d in daily_avg_price.index]) .add_yaxis("日均价格", [round(p, 2) for p in daily_avg_price.values]) .set_global_opts( title_opts=opts.TitleOpts(title="牛奶商品日均价格趋势"), xaxis_opts=opts.AxisOpts(name="日期"), yaxis_opts=opts.AxisOpts(name="平均价格(元)"), ) ) # 可以组合或分别渲染图表 line_trend.render("price_trend.html") # 渲染图表到HTML文件 bar_price_dist.render("price_distribution.html") bar_shop_price.render("shop_price_rank.html") print("可视化图表已生成: price_distribution.html, shop_price_rank.html") # 执行可视化 df = load_data_from_db() if not df.empty: create_price_visualization(df) ``` **4. Web系统集成 (以Flask为例)** 最后，将上述分析逻辑集成到Flask后端，并通过API将数据提供给前端（Vue + ECharts）进行交互式展示[ref_3][ref_4]。 ```python # 代码示例：Flask后端API提供价格分析数据 from flask import Flask, jsonify, request from flask_cors import CORS import pymysql import pandas as pd app = Flask(__name__) CORS(app) # 允许跨域请求 def get_db_connection(): return pymysql.connect(host='localhost', user='root', password='yourpassword', database='jd_analysis') @app.route('/api/price_distribution', methods=['GET']) def get_price_distribution(): """API接口：获取价格分布数据""" keyword = request.args.get('keyword', '牛奶') conn = get_db_connection() sql = f"SELECT price FROM goods_price WHERE keyword=%s" df = pd.read_sql(sql, conn, params=(keyword,)) conn.close() if df.empty: return jsonify({'error': 'No data found'}), 404 # 计算分布 bins = [0, 50, 100, 150, 200, 300, 500, 1000] labels = ['0-50', '51-100', '101-150', '151-200', '201-300', '301-500', '501-1000'] df['range'] = pd.cut(df['price'], bins=bins, labels=labels, right=False) distribution = df['range'].value_counts().sort_index().to_dict() # 格式化返回给前端ECharts的数据 data_for_echarts = { 'xAxis': list(distribution.keys()), 'series': list(distribution.values()) } return jsonify(data_for_echarts) @app.route('/api/shop_price_rank', methods=['GET']) def get_shop_price_rank(): """API接口：获取店铺价格排名数据""" keyword = request.args.get('keyword', '牛奶') limit = request.args.get('limit', 10, type=int) conn = get_db_connection() sql = """ SELECT shop, AVG(price) as avg_price FROM goods_price WHERE keyword=%s GROUP BY shop HAVING COUNT(*) > 3 ORDER BY avg_price DESC LIMIT %s """ df = pd.read_sql(sql, conn, params=(keyword, limit)) conn.close() data_for_echarts = { 'shop': df['shop'].tolist(), 'price': [round(p, 2) for p in df['avg_price'].tolist()] } return jsonify(data_for_echarts) if __name__ == '__main__': app.run(debug=True) ``` 前端（Vue + ECharts）通过调用上述API（如 `/api/price_distribution?keyword=牛奶`）获取JSON数据，并初始化ECharts图表，实现动态、交互式的价格可视化展示[ref_3][ref_4]。 #### **三、 应用场景与扩展** * **价格监控与比价**：持续监控特定商品的价格波动，设置降价提醒[ref_5]。 * **市场分析**：分析不同品牌、不同品类商品的价格分布，洞察市场定价策略。 * **数据大屏展示**：集成多个图表（如地图、热力图、趋势线），构建电商数据可视化大屏，用于实时监控[ref_6]。 * **结合评论分析**：除了价格，还可以爬取和分析用户评论，结合价格生成“性价比”词云或情感分析图表[ref_4]。 总之，实现一个完整的京东价格可视化系统，需要综合运用爬虫、数据处理、数据库和前后端开发技术。通过模块化的设计和清晰的数据流，可以高效地将原始的网页数据转化为直观、有价值的商业洞察图表。