### 使用Python编写程序抓取B站UP主所有视频的数据 #### 发现URL规律并构建请求 为了获取特定UP主的所有视频信息，首先要分析目标页面的结构以及API接口。通常情况下，B站提供了JSON API用于返回用户的投稿列表，这使得通过编程方式获取数据变得更为简便[^1]。 对于每一个UP主而言，其发布的每一条动态都会有一个唯一的标识符即`bvid`参数，在浏览器开发者工具中可以找到加载更多视频时所调用的具体链接模式。一般形式如下： ``` https://api.bilibili.com/x/space/arc/search?mid=UP主ID&ps=30&tid=0&pn={页码}&keyword=&order=pubdate&jsonp=jsonp ``` 其中`mid`代表UP主的身份编号；`ps`表示一页显示多少条记录，默认设置为30较为合适；`tid`指代分区筛选条件，设为0意味着不加区分地提取全部作品；`pn`则是分页数标志位，随着翻阅次数增加依次累加。 #### 获取批量URL并向服务器发送HTTP请求 有了上述的基础之后就可以着手准备向远端服务器提交GET类型的查询命令了。这里推荐采用第三方库`requests`完成网络交互操作，它能够简化编码流程并且兼容性强。 ```python import requests def fetch_video_list(mid, page_number): url = f"https://api.bilibili.com/x/space/arc/search" params = { 'mid': mid, 'ps': 30, 'tid': 0, 'pn': page_number, 'keyword': '', 'order': 'pubdate', 'jsonp': 'jsonp' } response = requests.get(url=url, params=params) if response.status_code == 200: return response.json() else: raise Exception(f"Failed to retrieve data from server with status code {response.status_code}") ``` 这段函数接受两个输入变量分别是UP主ID(`mid`)和当前处理的是第几页(`page_number`)，随后按照既定模板拼接成最终访问地址并通过`params`字典传递给远程主机。如果一切顺利的话将会得到一个包含着众多字段在内的大型嵌套对象作为回应体内容。 #### 解析响应中的有用部分并将结果保存至CSV文件 当成功接收到来自服务端的消息包以后便进入了核心环节—解析阶段。由于之前已经确认过对方是以json格式回传资料因此可以直接运用内置方法`.json()`将其转换成本地方言理解的形式再进一步挖掘所需情报比如标题、发布时间戳还有最重要的那个`bvid`. 最后一步就是把整理好的素材写入本地磁盘当中形成易于阅读查看表格文档(csv)，借助于标准模块`csv`即可轻松实现这一功能。 ```python import csv def save_to_csv(data, filename='video_info.csv'): keys = ['title', 'created_at', 'bv_id'] with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=keys) writer.writeheader() for item in data: video_data = { 'title': item['title'], 'created_at': item['ctime'], 'bv_id': item['bvid'] } writer.writerow(video_data) if __name__ == "__main__": up_mid = input("请输入想要爬取的UP主ID:") all_videos = [] current_page = 1 while True: try: json_response = fetch_video_list(up_mid, current_page) videos_on_this_page = [ {'title': v['title'], 'ctime':v['ctime'], 'bvid':v['bvid']} for v in json_response['data']['list']['vlist']] all_videos.extend(videos_on_this_page) total_pages = int(json_response['data']['pages']) if current_page >= total_pages or not videos_on_this_page: break current_page += 1 except KeyboardInterrupt: print("\n手动中断...") break except Exceptio