### 使用Python构建电影推荐系统的爬虫教程 #### 3.1 爬取电影数据 为了创建一个有效的电影推荐系统，首先需要收集大量的电影信息。可以利用`requests`库获取网页内容并使用`BeautifulSoup`解析HTML结构。 ```python import requests from bs4 import BeautifulSoup def fetch_movie_data(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') movies = [] for item in soup.select('.movie-item'): title = item.find('h2').get_text(strip=True) rating = float(item.find(class_='rating').get_text(strip=True)) movie_info = { "title": title, "rating": rating } movies.append(movie_info) return movies ``` 此部分代码展示了如何抓取特定页面上的电影名称及其评分[^1]。 #### 3.2 数据存储与预处理 获得的数据通常会保存到数据库或文件中以便后续处理。这里采用简单的CSV文件作为例子： ```python import csv def save_to_csv(movies, filename='movies.csv'): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(["Title", "Rating"]) for m in movies: writer.writerow([m['title'], m['rating']]) ``` 上述方法能够将之前提取出来的电影列表写入CSV文件内。 #### 3.3 构建推荐模型 当拥有了足够的历史观影记录之后就可以着手建立推荐算法了。一种简单的方式是计算每部影片之间的相似度得分，并据此向用户建议他们可能感兴趣的其他作品。下面是一个基于余弦相似性的实现方案： ```python from sklearn.metrics.pairwise import cosine_similarity import numpy as np import pandas as pd dataframe = pd.read_csv('movies.csv') ratings_matrix = dataframe.pivot_table(index=['userId'], columns=['movieId'], values='rating') item_similarities = cosine_similarity(ratings_matrix.fillna(0)) def recommend_movies(user_id, top_n=5): user_ratings = ratings_matrix.loc[user_id].dropna() scores = pd.Series(dtype=float) for i in range(len(item_similarities)): if not np.isnan(user_ratings[i]): similar_items = item_similarities[i] recommendations = pd.Series(similar_items).sort_values(ascending=False)[:top_n] scores = scores.add(recommendations, fill_value=0) best_recommendations = list(scores.sort_values(ascending=False).index[:top_n]) recommended_titles = [dataframe[dataframe.movieId == idx]['title'].iloc[0] for idx in best_recommendations] return recommended_titles ``` 这段脚本读取先前生成的CSV文件中的评价矩阵，并通过比较不同项目间的特征向量来找出最接近的目标项[^2]。