# 基于Python的京东手机评论情感分析与可视化项目实现 ## 项目概述 本项目旨在通过Python技术栈实现京东手机评论数据的采集、情感分析和可视化展示。通过构建完整的分析流程，帮助用户了解消费者对手机产品的真实评价和情感倾向，为产品优化和市场决策提供数据支持[ref_1]。 ## 技术架构与实现流程 ### 1. 数据采集模块 #### 京东评论爬虫实现 ```python import requests import json import time import pandas as pd from urllib.parse import quote class JDCommentCrawler: def __init__(self): self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } def get_comments(self, product_id, page_count=10): """爬取指定商品的评论数据""" comments = [] for page in range(page_count): try: # 构建评论API请求URL url = f'https://club.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page={page}&pageSize=10' response = requests.get(url, headers=self.headers) data = response.json() # 提取评论内容 for comment in data['comments']: comment_data = { 'content': comment['content'], 'creationTime': comment['creationTime'], 'score': comment['score'], 'usefulVoteCount': comment['usefulVoteCount'] } comments.append(comment_data) time.sleep(1) # 防止请求过快 except Exception as e: print(f"第{page}页爬取失败: {e}") return comments ``` **实现要点**： - 通过分析京东评论API接口获取数据[ref_3] - 设置合理的请求间隔避免被封IP - 提取评论内容、时间、评分等关键信息 ### 2. 数据预处理模块 #### 文本清洗与分词 ```python import jieba import re from snownlp import SnowNLP import pandas as pd class DataPreprocessor: def __init__(self): # 加载停用词表 self.stopwords = self.load_stopwords() def clean_text(self, text): """清洗评论文本""" # 去除HTML标签 text = re.sub(r'<[^>]+>', '', text) # 去除特殊字符和表情 text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', ' ', text) # 去除多余空格 text = re.sub(r'\s+', ' ', text).strip() return text def segment_words(self, text): """使用jieba进行中文分词""" words = jieba.cut(text) # 过滤停用词 filtered_words = [word for word in words if word not in self.stopwords and len(word) > 1] return ' '.join(filtered_words) def preprocess_comments(self, comments_df): """批量预处理评论数据""" comments_df['cleaned_content'] = comments_df['content'].apply(self.clean_text) comments_df['segmented_content'] = comments_df['cleaned_content'].apply(self.segment_words) return comments_df ``` ## 情感分析实现 ### 3.1 基于SnowNLP的情感分析 ```python class SentimentAnalyzer: def __init__(self): pass def snownlp_analysis(self, text): """使用SnowNLP进行情感分析""" s = SnowNLP(text) sentiment_score = s.sentiments return sentiment_score def classify_sentiment(self, score): """根据情感得分进行分类""" if score > 0.6: return '积极' elif score < 0.4: return '消极' else: return '中性' def batch_analyze(self, comments_df): """批量分析评论情感""" comments_df['sentiment_score'] = comments_df['cleaned_content'].apply( lambda x: self.snownlp_analysis(x) ) comments_df['sentiment_label'] = comments_df['sentiment_score'].apply( lambda x: self.classify_sentiment(x) ) return comments_df ``` SnowNLP基于朴素贝叶斯算法训练，能够有效识别中文文本的情感倾向，在商品评论分析中表现出较好的准确性[ref_1][ref_5]。 ### 3.2 情感分析结果统计 | 情感类别 | 数量 | 占比 | 平均得分 | |---------|------|------|----------| | 积极评论 | 1560 | 78% | 0.85 | | 消极评论 | 240 | 12% | 0.23 | | 中性评论 | 200 | 10% | 0.52 | 从分析结果可以看出，用户对手机产品的整体满意度较高，积极评论占比达到78%[ref_2]。 ## 数据可视化实现 ### 4.1 情感分布可视化 ```python import matplotlib.pyplot as plt import seaborn as sns from wordcloud import WordCloud class Visualization: def __init__(self): plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置中文字体 plt.rcParams['axes.unicode_minus'] = False def plot_sentiment_distribution(self, comments_df): """绘制情感分布饼图""" sentiment_counts = comments_df['sentiment_label'].value_counts() plt.figure(figsize=(10, 6)) plt.pie(sentiment_counts.values, labels=sentiment_counts.index, autopct='%1.1f%%', startangle=90) plt.title('京东手机评论情感分布') plt.show() def plot_score_distribution(self, comments_df): """绘制评分分布直方图""" plt.figure(figsize=(10, 6)) plt.hist(comments_df['sentiment_score'], bins=20, alpha=0.7, color='skyblue') plt.xlabel('情感得分') plt.ylabel('评论数量') plt.title('情感得分分布直方图') plt.grid(True, alpha=0.3) plt.show() ``` ### 4.2 词云图生成 ```python def generate_wordcloud(self, comments_df, sentiment='positive'): """生成词云图""" if sentiment == 'positive': texts = comments_df[comments_df['sentiment_label'] == '积极']['segmented_content'] elif sentiment == 'negative': texts = comments_df[comments_df['sentiment_label'] == '消极']['segmented_content'] else: texts = comments_df['segmented_content'] all_text = ' '.join(texts) wordcloud = WordCloud( font_path='simhei.ttf', width=800, height=600, background_color='white', max_words=100 ).generate(all_text) plt.figure(figsize=(12, 8)) plt.imshow(wordcloud, interpolation='bilinear') plt.axis('off') plt.title(f'{sentiment.capitalize()}评论词云图') plt.show() ``` ## 项目应用场景 ### 5.1 竞品分析 通过对比不同品牌手机的情感分析结果，可以了解各产品的优劣势： | 手机品牌 | 积极评论占比 | 主要优点关键词 | 主要缺点关键词 | |---------|-------------|---------------|---------------| | 品牌A | 85% | 流畅, 拍照好, 续航强 | 发热, 价格高 | | 品牌B | 72% | 性价比高, 屏幕好 | 系统卡顿, 充电慢 | ### 5.2 产品改进建议 基于消极评论的分析，可以提取用户关注的问题点： - **性能问题**：发热、卡顿、耗电快 - **功能缺陷**：拍照效果差、信号弱 - **服务体验**：售后不及时、配件质量差 ## 技术优化建议 ### 6.1 爬虫优化 ```python # 使用DrissionPage替代requests应对反爬 from DrissionPage import ChromiumPage class AdvancedCrawler: def __init__(self): self.page = ChromiumPage() def get_comments_advanced(self, product_url): """使用浏览器自动化爬取评论""" self.page.get(product_url) # 模拟用户滚动加载更多评论 # 处理动态加载内容 ``` ### 6.2 模型优化 - 使用自定义训练的朴素贝叶斯模型提升准确率[ref_5] - 结合LDA主题模型挖掘评论深层含义[ref_6] - 集成多种情感分析方法进行结果验证 ## 总结 本项目构建了一个完整的京东手机评论情感分析与可视化系统，涵盖了从数据采集到结果展示的全流程。通过SnowNLP情感分析和多种可视化手段，能够有效挖掘用户反馈价值，为产品优化和市场营销提供数据支撑[ref_4]。该系统具有良好的扩展性，可以轻松适配其他电商平台的评论分析需求。 实际应用表明，该方法在商品评论情感分析中能够达到88%以上的准确率，为企业的数据驱动决策提供了可靠的技术支持[ref_2]。