### Python 电影评论情感分析教程 #### 数据获取 为了进行影评的情感分析，首先需要收集足够的数据。可以使用Python中的`Scrapy`或`BeautifulSoup`等爬虫框架从豆瓣或其他电影评论网站抓取数据[^1]。 ```python import requests from bs4 import BeautifulSoup url = 'https://movie.douban.com/subject/{movie_id}/comments' headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') comments = soup.find_all('span', class_='short') # 获取短评 for comment in comments: print(comment.text.strip()) ``` #### 文本预处理 在获得原始数据之后，需对文本进行清洗和预处理。这一步通常包括去除HTML标签、特殊字符以及停用词，并完成分词操作[^3]。 ```python import jieba import re def preprocess_text(text): text = re.sub(r'[^\w\s]', '', text) # 去除标点符号 words = jieba.lcut(text) # 使用结巴分词 filtered_words = [word for word in words if word not in stop_words] return " ".join(filtered_words) stop_words = set(['的', '了', '是']) # 自定义停用词列表 preprocessed_comments = [preprocess_text(c.text.strip()) for c in comments] ``` #### 情感分析 对于每条评论，可以通过训练好的机器学习模型或者调用现成API来进行正面负面情绪判断。这里介绍一种简单的方法——基于TF-IDF和支持向量机(SVM)[^1]。 ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.svm import SVC from sklearn.model_selection import train_test_split vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(preprocessed_comments) y = [...] # 手动标记正负样本标签 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) clf = SVC(kernel='linear').fit(X_train, y_train) accuracy = clf.score(X_test, y_test) print(f'Accuracy: {accuracy}') ``` #### 可视化结果 最后，利用matplotlib库制作图表来直观呈现分析成果，比如生成词频统计直方图或是绘制反映整体舆论倾向性的饼状图[^2]。 ```python from wordcloud import WordCloud import matplotlib.pyplot as plt text = " ".join(preprocessed_comments) wc = WordCloud(width=800, height=400, background_color="white", color_func=random_color_func).generate(text) plt.figure(figsize=(10, 5)) plt.imshow(wc, interpolation='bilinear') plt.axis("off") plt.show() ```