### 使用Scrapy和BeautifulSoup实现分层爬取B站评论 #### Scrapy框架概述 Scrapy是一个快速、高层次的基于Python的Web爬虫框架，专门用于抓取网站并从中提取结构化数据[^1]。该框架利用Twisted异步网络库处理网络通信。 #### BeautifulSoup解析HTML文档 为了更好地理解和操作网页内容，可以借助于`BeautifulSoup`库将HTML文档转换成易于遍历的数据结构。此库能够创建一个表示整个HTML文档的树状模型，在这个模型里每一个节点都代表了一个Python对象[^4]。 当涉及到像B站这样复杂的动态加载页面时，通常需要先通过浏览器开发者工具分析目标页面的具体行为模式以及API接口调用方式。对于多级嵌套式的评论区来说，一般会存在不同的标签属性用来标记父级与子级关系。 下面给出一段简单的代码片段展示如何使用上述提到的技术组合来获取带层次结构的评论： ```python import scrapy from bs4 import BeautifulSoup class BilibiliSpider(scrapy.Spider): name = "bilibili_comments" start_urls = ['https://www.bilibili.com/video/BVxxxxxxxx'] def parse(self, response): soup = BeautifulSoup(response.body,'html.parser') # 假设每条评论都有唯一的id，并且回复会有对应的data-parent-id指向其上级评论 comments = [] for comment_tag in soup.find_all('li', class_='comment-item'): try: cid = comment_tag.get('id') # 获取当前评论ID parent_id = comment_tag.get('data-parent-id') or 'root' # 如果有上一级，则记录；否则默认根节点 content = comment_tag.select_one('.content').get_text(strip=True) comments.append({ 'cid': cid, 'parent_cid': parent_id, 'content': content }) except Exception as e: print(f"Parsing error {e}") yield {'comments': comments} ``` 这段程序首先定义了一个名为`BilibiliSpider`的蜘蛛类继承自`scrapy.Spider`，指定了起始URL作为入口点。接着重写了`parse()`函数负责接收服务器返回的内容并交给`BeautifulSoup`做进一步加工处理。最后按照预设逻辑收集到所有符合条件的<li>元素下的文本信息连同它们之间的父子关联一同保存下来供后续研究之用。 需要注意的是实际开发过程中可能还需要考虑更多细节比如登录态保持、反爬机制规避等问题，这里仅提供最基础版本供大家参考学习。