### 使用Python与Scrapy-Selenium组合抓取B站含特定关键词的视频信息 为了实现从B站获取带有指定关键字的视频详情，可以采用`scrapy-selenium`框架来处理JavaScript渲染的内容。下面是一个简化版的例子展示如何设置项目以及定义必要的组件。 #### 安装依赖包 首先确保环境中已安装`selenium`和`scrapy`[^1]： ```bash pip install selenium scrapy scrapy-selenium ``` 接着下载对应版本的WebDriver（如ChromeDriver），并将路径加入到系统的环境变量中以便于调用。 #### 创建Scrapy项目结构 初始化一个新的Scrapy工程，并创建自定义Item类保存所需字段： ```python import scrapy class BiliVideoInfo(scrapy.Item): video_title = scrapy.Field() # 视频标题 uploader = scrapy.Field() # UP主昵称 upload_date = scrapy.Field() # 发布日期 view_count = scrapy.Field() # 播放次数 danmu_count = scrapy.Field() # 弹幕数量 like_count = scrapy.Field() # 点赞数 coin_count = scrapy.Field() # 投币数 favorite_count = scrapy.Field() # 收藏人数 keyword = scrapy.Field() # 查询使用的关键词 ``` #### 编写Spider逻辑 构建一个名为`bili_keyword_spider.py`的新爬虫文件，在其中利用Selenium加载网页并解析HTML文档中的目标元素： ```python from scrapy import Spider, Request from ..items import BiliVideoInfo from selenium.webdriver.common.by import By from time import sleep class BiliKeywordSpider(Spider): name = 'bili_keyword' custom_settings = { "SELENIUM_DRIVER_NAME": "chrome", "SELENIUM_DRIVER_EXECUTABLE_PATH": "/path/to/chromedriver", # 替换成实际路径 "SELENIUM_DRIVER_ARGUMENTS":[ '--headless' ] # 隐藏浏览器窗口运行 } start_urls = ['https://search.bilibili.com/all?keyword={}'.format('默认关键词')] def parse(self,response): driver = response.meta['driver'] try: elements = driver.find_elements(By.CSS_SELECTOR,'li.video-item.matrix') for element in elements[:5]: # 只取前五个作为例子 item = BiliVideoInfo() item['video_title'] = element.find_element(By.TAG_NAME,"a").get_attribute("title") item['uploader'] = element.find_element(By.CLASS_NAME,"up-name").text item['upload_date'] = element.find_element(By.CLASS_NAME,"pubdate-text").text.split()[0] stats = element.find_element(By.CLASS_NAME,"stats").text.replace("\n"," ").split(" ") item['view_count'],item['danmu_count']= map(lambda s:s[:-2],stats[-2:]) item['like_count'] = '' item['coin_count'] = '' item['favorite_count'] = '' item['keyword'] = self.start_urls[0].rsplit('=',maxsplit=1)[-1] yield item next_page_btn = driver.find_element(By.LINK_TEXT,'下一页') if not ('disabled' in next_page_btn.get_attribute('class')): url = next_page_btn.get_attribute('href') yield SeleniumRequest(url=url,callback=self.parse) finally: pass sleep(3) # 延迟防止被封禁IP ``` 此脚本会启动无头模式下的Chrome实例访问由给定关键词构成的URL链接列表；通过CSS选择器定位每页上的多个视频条目节点，从中抽取基本信息填充至预设的数据模型内；最后尝试点击“下一页”按钮继续遍历更多结果直到无法再翻页为止。