### 编写一个用于抓取网页文字评论的Python爬虫 为了实现这一目标，可以利用 `requests` 库发送HTTP请求并获取网页内容，再通过 `BeautifulSoup` 解析HTML结构以提取所需的文字评论。以下是具体方法： #### 所需准备 在开始之前，需要安装两个主要库：`requests` 和 `beautifulsoup4`[^1]。可以通过以下命令完成安装： ```bash pip install requests beautifulsoup4 ``` #### Python代码示例 下面提供了一个简单的Python脚本，演示如何从指定URL中抓取文字评论。 ```python import requests from bs4 import BeautifulSoup def fetch_comments(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.text, 'html.parser') comments = [] # 假设评论位于具有特定类名的<div>标签下 comment_elements = soup.find_all('div', class_='comment') # 替换为实际的CSS选择器 for element in comment_elements: text = element.get_text(strip=True) if text: comments.append(text) return comments if __name__ == "__main__": target_url = "https://example.com/page-with-comments" try: extracted_comments = fetch_comments(target_url) print("Extracted Comments:") for idx, comment in enumerate(extracted_comments, start=1): print(f"{idx}. {comment}") except Exception as e: print(e) ``` 此代码定义了一个函数 `fetch_comments()` 来执行以下操作： - 使用自定义头部信息模拟浏览器访问页面[^1]。 - 利用 `BeautifulSoup` 查找包含评论的具体 HTML 元素，并将其转换成纯文本形式存储于列表中。 注意：以上代码假设每条评论都封装在一个带有固定 CSS 类名为 `comment` 的 `<div>` 中；实际情况可能有所不同，请根据目标网站的实际结构调整相应的解析逻辑。 #### 法律与道德注意事项 当构建和部署任何类型的Web爬虫时，应当始终遵循目标站点的服务条款以及当地法律的规定。未经许可的大规模数据采集可能会侵犯版权或其他权利，因此建议仅限个人学习用途或已获得授权的情况下运行此类程序[^2]。 ---