### 使用 Python 爬虫抓取 SteamDB 网站评论区内容 为了实现这一目标，可以采用 `requests` 和 `BeautifulSoup` 库来处理网页请求和解析 HTML 文档。考虑到反爬机制的存在，建议引入随机延时与更换 User-Agent 来模拟真实用户的访问行为。 #### 准备工作 安装必要的库： ```bash pip install requests beautifulsoup4 fake-useragent ``` #### 编写代码逻辑 下面是一份基础版的爬虫脚本： ```python from bs4 import BeautifulSoup import requests from fake_useragent import UserAgent import time import random def fetch_steamdb_comments(url, page=1): ua = UserAgent() headers = {'User-Agent': ua.random} params = { 'page': page, } response = requests.get(url, headers=headers, params=params) soup = BeautifulSoup(response.text, "html.parser") comments_section = [] for item in soup.select('.comment-item'): user = item.find('span', class_='username').get_text(strip=True) content = item.find('div', class_='content').get_text(strip=True) timestamp = item.find('time')['datetime'] comment_data = { 'user': user, 'content': content, 'timestamp': timestamp } comments_section.append(comment_data) return comments_section if __name__ == "__main__": url = "https://steamdb.info/sales/" all_pages_comments = [] max_page = 5 # 假设最多翻页数为5 for i in range(1, max_page + 1): try: current_page_comments = fetch_steamdb_comments(url, i) all_pages_comments.extend(current_page_comments) sleep_time = round(random.uniform(0.8, 2), 2) print(f"Sleeping for {sleep_time} seconds before next request.") time.sleep(sleep_time) except Exception as e: print(e) break print(all_pages_comments[:3]) # 打印前三个样本用于验证效果 ``` 这段程序会遍历指定 URL 的多个页面，并提取每条评论中的用户名、正文及时间戳信息[^1]。 需要注意的是，在实际操作过程中应当遵循网站的服务条款，尊重其 Robots 协议文件所规定的限制条件。此外，频繁的大规模数据采集可能会触发站点的安全防护措施，因此务必谨慎行事。