### Python 爬虫猫眼电影 Top100 CSV 示例代码 为了实现从猫眼电影网站获取Top100榜单并将其保存到CSV文件中的功能，可以按照如下方法编写Python脚本： #### 导入必要的库 首先需要导入一些常用的第三方库来辅助完成网页请求以及HTML解析工作。 ```python import requests from bs4 import BeautifulSoup import csv ``` #### 获取页面内容函数定义 创建一个用于发送HTTP GET请求以获得指定URL对应的响应体字符串的函数`get_one_page()`。此部分会处理异常情况下的重试机制，并返回最终成功接收到的数据或None表示失败。 ```python def get_one_page(url): try: headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36" } response = requests.get(url=url,headers=headers) if response.status_code == 200: return response.text else: return None except RequestException: return None ``` #### 解析单页数据函数定义 接着定义另一个名为`parse_one_page()`的方法用来提取每部影片的关键信息（排名、名称、主演等），并通过正则表达式匹配的方式定位所需字段位置。 ```python def parse_one_page(html): soup = BeautifulSoup(html,'lxml') items = [] for tag in soup.find_all('p',class_='name'): title=tag.string.strip() for i in range(0,len(soup.select('.board-index'))): rank=soup.select('.board-index')[i].text star=soup.select('.star')[i].contents[-2].strip().replace('\n','').replace(' ','') releasetime=soup.select('.releasetime')[i].string item={ 'rank':rank, 'title':title[i], 'actor':star, 'time':releasetime } items.append(item) return items ``` #### 数据写入CSV文件操作 最后一步就是把收集好的字典列表形式的结果集通过内置模块`csv.writer()`逐条记录至本地磁盘上的`.csv`文档内；注意设置好编码格式防止乱码现象发生。 ```python def write_to_csv(data,filename='maoyan_top100.csv'): with open(filename,'a+',encoding="utf-8-sig",newline='') as csvfile: fieldnames=['rank','title','actor','time'] writer=csv.DictWriter(csvfile,fieldnames=fieldnames) writer.writeheader() # 只有第一次调用时才执行这句 for row in data: writer.writerow(row) ``` #### 主程序逻辑控制结构 将上述各个独立的功能单元组合起来形成完整的业务流程，在这里采用多线程技术加速整个下载速度的同时也避免触发反爬策略限制访问频率过高的问题。 ```python if __name__=='__main__': base_url='https://maoyan.com/board/4?offset={}' all_data=[] for offset in range(0,100,10): url=base_url.format(str(offset)) html=get_one_page(url)[^1] if not html:continue results=parse_one_page(html)[^2] all_data.extend(results) time.sleep(random.randint(1,3))# 随机休眠一段时间 write_to_csv(all_data) ```