### 使用Python编写爬虫抓取B站电影数据并处理 为了实现这一目标，可以按照如下方式构建程序： #### 导入必要的库 ```python import requests from bs4 import BeautifulSoup import re import csv ``` #### 发送HTTP请求获取网页内容 定义一个函数用于发送GET请求，并返回响应的内容。 ```python def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: print(f"Failed to retrieve data from {url}") return None ``` #### 解析HTML文档提取所需信息 使用BeautifulSoup解析HTML结构，结合正则表达式定位特定元素。这里假设要抓取的是影片名称、播放量以及封面图链接等基本信息。 ```python def parse_page(html_content): soup = BeautifulSoup(html_content, "html.parser") items = [] pattern_title = r"title=\"(.*?)\"" pattern_playcount = r"data-play=\"(\d+)\"" pattern_cover_url = r"<img.*?src=\"(http[s]?://[\w./\-]+)\"" for item in soup.find_all('li', class_='video-item matrix'): title_match = re.search(pattern_title, str(item)) playcount_match = re.search(pattern_playcount, str(item)) cover_url_matches = re.findall(pattern_cover_url, str(item)) try: title = title_match.group(1).strip() playcount = int(playcount_match.group(1)) cover_url = cover_url_matches[0] items.append({ 'title': title, 'playcount': playcount, 'cover_url': cover_url }) except AttributeError as e: continue return items ``` #### 存储结果到CSV文件中 创建一个新的CSV文件并将收集到的数据逐行写入其中。 ```python def save_to_csv(data_list, filename='output.csv'): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=['title', 'playcount', 'cover_url']) writer.writeheader() for row in data_list: writer.writerow(row) print(f'Data has been saved into "{filename}" successfully.') ``` #### 主逻辑流程控制 组合上述功能模块完成整个任务。 ```python if __name__ == '__main__': url = "https://www.bilibili.com/v/cinephile/film/" html = get_html(url)[^1] parsed_data = parse_page(html)[^3] output_filename = './movie_data.csv' save_to_csv(parsed_data, output_filename) # 打印部分结果到终端 for entry in parsed_data[:5]: print(entry) ``` 此脚本实现了从指定URL加载页面、解析页面中的视频条目详情并通过正则表达式抽取关键字段的功能[^2]。最终的结果不仅会在命令行界面上显示出来，还会被记录在一个名为`movie_data.csv`的文件内以便后续查看或进一步分析。