### 使用Python编写爬虫抓取B站视频信息并存储到数据库 #### 方法概述 为了实现从B站抓取视频信息并将这些信息保存至数据库的功能，可以按照以下方法操作。此过程涉及网络请求、数据解析以及数据库交互等多个环节。 1. **发送HTTP请求** 利用`requests`库向目标URL发起GET或POST请求，获取响应内容。对于B站这样的平台，通常需要模拟浏览器行为以绕过反爬机制[^3]。 2. **解析HTML/JSON数据** 借助`BeautifulSoup`或者直接处理API返回的JSON对象来提取所需字段，比如视频标题、作者名称、播放量等信息。 3. **连接数据库并写入数据** 可选用SQLite作为轻量化的关系型数据库管理系统；如果项目规模较大，则推荐MySQL或其他更强大的DBMS。通过SQLAlchemy ORM简化复杂的SQL语句书写工作流程。 以下是具体实现步骤及相关代码示例： #### 示例代码 ```python import requests from bs4 import BeautifulSoup import json import sqlite3 from sqlalchemy import create_engine, Column, Integer, String, Float from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker # 定义ORM模型类 Base = declarative_base() class VideoInfo(Base): __tablename__ = 'video_info' id = Column(Integer, primary_key=True) title = Column(String(255)) author = Column(String(100)) views = Column(Integer) def fetch_video_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'Referer': 'https://www.bilibili.com/' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') script_tag = soup.find('script', text=lambda t: t and 'window.__INITIAL_STATE__' in t).string.strip() start_index = script_tag.index('{') end_index = script_tag.rindex('}') + 1 data_json = json.loads(script_tag[start_index:end_index]) video_title = data_json['videoData']['title'] up_name = data_json['upData']['name'] view_count = int(data_json['videoData']['stat']['view']) return {'title': video_title, 'author': up_name, 'views': view_count} def save_to_db(video_dict): engine = create_engine('sqlite:///videos.db') # 创建引擎实例 Base.metadata.create_all(engine) # 自动创建表结构 Session = sessionmaker(bind=engine) # 构建会话工厂 session = Session() # 打开会话 new_record = VideoInfo(**video_dict) # 将字典映射成实体对象 session.add(new_record) # 添加记录进入当前事务 session.commit() # 提交更改永久化 session.close() # 关闭资源释放锁 if __name__ == '__main__': url = input("请输入要抓取的B站视频页面链接:") try: vid_data = fetch_video_data(url) print(f"成功抓取的数据如下:\n{vid_data}") save_to_db(vid_data) print("已将上述数据存入本地SQLite数据库.") except Exception as e: print(f"发生错误:{str(e)}") ``` #### 数据库设计说明 上例中定义了一个名为`VideoInfo`的基础映射类对应于关系型数据库的一张表格。该表包含四个列：唯一标识符(`id`)自动生成无需手动指定；其余三列为字符串类型的视频标题(`title`)、上传者昵称(`author`)还有整数形式表示观看次数(`views`)。 ---