### 基于Python的电影数据分析可视化及个性化推荐系统 #### 数据采集与预处理 为了构建一个完整的电影数据分析和推荐系统，首先需要从互联网上抓取必要的数据。通常会使用`requests`库来发送HTTP请求并接收响应，再借助`BeautifulSoup`或`lxml`解析网页内容。 ```python import requests from bs4 import BeautifulSoup def fetch_movie_data(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') movies = [] for item in soup.select('.movie-item'): title = item.find('h2').text.strip() rating = float(item.find(class_='rating').text.strip()) movie_info = { "title": title, "rating": rating } movies.append(movie_info) return movies ``` 此部分代码用于模拟从特定页面提取电影名称及其对应的评分信息[^1]。 #### 数据存储与管理 对于所获取到的数据，在将其保存至本地之前往往还需要进一步清理和转换。这里选用Pandas作为主要工具来进行表格化管理和初步分析工作： ```python import pandas as pd dataframe = pd.DataFrame(movies) cleaned_df = dataframe.dropna() # 移除含有缺失值的记录 sorted_by_rating = cleaned_df.sort_values(by='rating', ascending=False).head(10) # 按照评分排序选出前十名影片 ``` 上述片段展示了如何创建DataFrame对象以及执行简单的筛选操作[^3]。 #### 可视化呈现 当准备好所需的数据集之后就可以着手准备图形界面了。ECharts是一个非常流行的JavaScript图表库，但在纯Python环境中也可以考虑Matplotlib或者Seaborn这样的绘图包： ```python import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize=(10,6)) sns.barplot(x="rating", y="title", data=sorted_by_rating) plt.title('Top Rated Movies') plt.show() ``` 这段脚本能够绘制出条形统计图以直观显示最受欢迎的一些作品[^2]。 #### 推荐引擎实现 最后一步便是建立个性化建议机制。协同过滤是最常用的方法之一；下面给出的是基于用户的相似度计算方式： ```python from sklearn.metrics.pairwise import cosine_similarity from scipy.sparse.linalg import svds user_item_matrix = pd.pivot_table(cleaned_df, values='rating', index=['userId'], columns=['movieId']) matrix_filled = user_item_matrix.fillna(0) U, sigma, Vt = svds(matrix_filled, k=50) sigma = np.diag(sigma) predicted_ratings = np.dot(np.dot(U, sigma), Vt) preds_df = pd.DataFrame(predicted_ratings, columns=user_item_matrix.columns) def recommend_movies(predictions_df, userId, original_ratings_df, num_recommendations=5): sorted_user_predictions = predictions_df.iloc[userId].sort_values(ascending=False)\ .reset_index().rename(columns={userId: 'Predictions'})\ .merge(original_ratings_df.reset_index(), how='left', left_on='movieId', right_on='movieId')\ .drop_duplicates(['movieId'])[['movieId', 'title', 'genre', 'Predictions']] recommendations = (original_ratings_df[~original_ratings_df['movieId'].isin(sorted_user_predictions['movieId'])] .append(sorted_user_predictions.head(num_recommendations))) return recommendations recommendations = recommend_movies(preds_df, 1, cleaned_df) print(recommendations) ``` 以上就是整个流程的一个简化版本，实际应用中可能还会涉及到更多细节上的优化调整。