### Python 爬虫示例：抓取美团商品用户评价 为了实现从美团平台抓取特定商品的用户评价，可以采用面向对象的方法构建爬虫程序，并利用 `requests` 和 `BeautifulSoup` 库来解析页面内容。考虑到反爬机制的存在，在请求过程中应适当加入延时并模拟浏览器行为。 #### 准备工作 安装必要的依赖包： ```bash pip install requests beautifulsoup4 pymongo ``` #### 编程思路 创建一个名为 `MeituanSpider` 的类，负责发起 HTTP 请求以及解析 HTML 文档中的评论部分。通过设置合理的 User-Agent 头部信息模仿真实访问者的行为模式；同时定义好 MongoDB 连接参数以便后续存储获取到的信息。 #### 实现代码 下面是一个简单的 Python 脚本框架： ```python import time from bs4 import BeautifulSoup as soup import requests from pymongo import MongoClient class MeituanSpider: def __init__(self): self.headers = { 'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko)' 'Chrome/98.0.4758.102 Safari/537.36') } client = MongoClient('localhost', 27017) db = client['meituan_reviews'] self.collection = db.reviews def fetch_page(self, url): response = requests.get(url=url, headers=self.headers).text page_soup = soup(response, "html.parser") return page_soup def parse_comments(self, html_doc): comments_section = [] items = html_doc.find_all("div", {"class": "comment-item"}) for item in items: comment_info = {} try: user_name_tag = item.select_one(".username").get_text(strip=True) review_content_tag = item.select_one(".review-words").get_text(strip=True) comment_info["user"] = user_name_tag comment_info["content"] = review_content_tag comments_section.append(comment_info) except AttributeError: continue return comments_section def save_to_db(self, data_list): if not isinstance(data_list, list) or len(data_list)==0: print("No valid reviews found.") return False result = self.collection.insert_many(data_list) inserted_count = len(result.inserted_ids) print(f"{inserted_count} new records have been added into database.") if __name__ == "__main__": spider_instance = MeituanSpider() target_url = input("Please enter the URL of product you want to scrape:") parsed_html = spider_instance.fetch_page(target_url) extracted_data = spider_instance.parse_comments(parsed_html) # Save results directly without checking duplicates here. spider_instance.save_to_db(extracted_data) print("Data collection completed!") ``` 此脚本会提示用户提供要抓取的商品链接地址，之后自动完成网页加载、数据提取及保存操作[^2]。