### 实现方案：使用 Python 编写爬虫程序抓取小红书孙颖莎相关话题数据 以下是针对该任务的具体实现方法，涵盖了从数据采集到存储的全过程。 --- #### 1. **环境准备** 为了完成这一任务，需要安装以下依赖库： - `requests`: 发起 HTTP 请求。 - `pandas`: 数据处理与 CSV 文件保存。 - `re`: 正则表达式用于解析部分字段。 - `json`: 处理 JSON 格式的 API 返回值。 可以通过以下命令安装必要库： ```bash pip install requests pandas ``` --- #### 2. **核心逻辑** ##### （1）模拟登录或绕过反爬机制 由于小红书通常会设置一定的反爬措施（如验证码、IP 封禁），建议先研究其 API 接口。如果无法直接调用公开 API，则可以尝试通过浏览器开发者工具捕获网络请求，复制 Headers 和 Cookies 来伪装合法用户行为[^1]。 示例代码如下： ```python import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "Cookie": "<your_cookie_here>", # 替换为实际 Cookie } url = "https://www.xiaohongshu.com/explore?keyword=%E5%AD%99%E9%A2%9C%E8%BE%85" response = requests.get(url, headers=headers) if response.status_code != 200: raise ConnectionError(f"Request failed with status code {response.status_code}") data = response.json() ``` ##### （2）解析数据结构 假设返回的数据是一个嵌套的 JSON 对象，其中包含了每篇帖子的相关信息（如 ID、用户名、发布时间等）。可以根据这些字段逐步提取所需内容。 例如，假定 JSON 结构如下： ```json { "items": [ { "id": "post_12345", "user_id": "user_67890", "username": "xiaoming", "text_content": "孙颖莎太棒了！", "publish_time": "2023-10-01T12:34:56Z", "like_count": 100, "comment_count": 20, "share_count": 5 }, ... ] } ``` 对应的解析代码可设计为： ```python def parse_items(json_data): items = json_data.get("items", []) parsed_data = [] for item in items: post_info = { "topic": "孙颖莎", # 主题固定为关键词 "user_id": item["user_id"], "username": item["username"], "content": item["text_content"], "length_of_text": len(item["text_content"]), "publish_time": item["publish_time"], "likes": item["like_count"], "comments": item["comment_count"], "shares": item["share_count"] } parsed_data.append(post_info) return parsed_data ``` ##### （3）保存为 CSV 文件 利用 `pandas` 库将提取后的数据保存为标准的 CSV 文件格式。 示例代码如下： ```python import pandas as pd def save_to_csv(data_list, filename="sunyingsha_data.csv"): df = pd.DataFrame(data_list) df.to_csv(filename, index=False, encoding="utf-8-sig") # 使用 utf-8-sig 支持中文编码 ``` --- #### 3. **完整脚本** 综合上述各模块的功能，最终形成一个完整的爬虫脚本： ```python import requests import pandas as pd # 设置请求头部 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "Cookie": "<your_cookie_here>" # 替换为真实 Cookie } # 获取原始数据 def fetch_raw_data(keyword="孙颖莎"): url = f"https://www.xiaohongshu.com/search?q={keyword}" try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() else: print(f"Failed to retrieve data: Status Code {response.status_code}") return None except Exception as e: print(f"An error occurred during the request: {e}") return None # 解析数据 def parse_items(json_data): items = json_data.get("items", []) parsed_data = [] for item in items: post_info = { "topic": keyword, "user_id": item.get("user_id"), "username": item.get("username"), "content": item.get("text_content"), "length_of_text": len(item.get("text_content", "")), "publish_time": item.get("publish_time"), "likes": item.get("like_count"), "comments": item.get("comment_count"), "shares": item.get("share_count") } parsed_data.append(post_info) return parsed_data # 保存为 CSV 文件 def save_to_csv(data_list, filename="sunyingsha_data.csv"): df = pd.DataFrame(data_list) df.to_csv(filename, index=False, encoding="utf-8-sig") # 主函数 if __name__ == "__main__": raw_data = fetch_raw_data(keyword="孙颖莎") if raw_data: parsed_data = parse_items(raw_data) save_to_csv(parsed_data) print(f"Data successfully saved to sunyingsha_data.csv.") ``` --- #### 4. **注意事项** - **合法性**: 抓取前确认是否违反小红书的服务条款[^2]。 - **频率控制**: 添加延时以降低对目标网站的压力，防止 IP 被封禁。 - **异常处理**: 增强错误捕捉能力，确保程序稳定运行。 ---