### 批量爬取小红书笔记的方法 批量爬取小红书笔记涉及多个关键步骤，包括模拟请求签名、管理Cookies、解析数据以及保存结果。以下是详细的技术实现方案。 #### 请求签名的生成 小红书的API请求需要生成特定的签名参数`x-s`和`x-t`，可以通过Python调用JavaScript代码来实现。以下是一个示例代码片段，展示了如何使用`execjs`库来执行JavaScript代码并生成签名： ```python import execjs # 加载JavaScript代码 with open('xiaohongshu_sign.js', 'r', encoding='utf-8') as f: js_code = f.read() # 创建一个JavaScript环境 ctx = execjs.compile(js_code) # 调用JavaScript函数生成签名 url = 'https://www.xiaohongshu.com/api/sns/v1/note/123456' data = 'some_data' sign = ctx.call('generateSign', url, data) ``` #### Cookies管理和频率控制 为了防止被封禁，需要合理管理Cookies并加入适当的延时。可以通过维护一个Cookies池来实现自动切换Cookies，并在每次请求后加入随机延时： ```python import random import time # 维护一个Cookies池 cookies_pool = [ {'cookie1': 'value1'}, {'cookie2': 'value2'}, # 更多Cookies ] # 随机选择一个Cookies cookies = random.choice(cookies_pool) # 添加随机延时 time.sleep(random.uniform(1, 3)) ``` #### 数据解析与持久化 获取到API返回的数据后，需要对其进行解析，并将结果存储到CSV或Excel文件中。以下是一个示例代码片段，展示了如何解析数据并保存到CSV文件： ```python import pandas as pd import os # 解析数据 note_id_list = ['note1', 'note2'] note_title_list = ['标题1', '标题2'] like_count_list = [100, 200] user_id_list = ['user1', 'user2'] user_name_list = ['用户1', '用户2'] # 创建DataFrame df = pd.DataFrame({ '笔记id': note_id_list, '笔记标题': note_title_list, '点赞数': like_count_list, '用户id': user_id_list, '用户昵称': user_name_list, }) # 保存到CSV文件 result_file = 'xiaohongshu_notes.csv' if os.path.exists(result_file): header = False else: header = True df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig') ``` #### 异步批量下载图片 如果需要下载笔记中的图片，可以使用异步请求来提高效率。以下是一个示例代码片段，展示了如何使用`aiohttp`库进行异步下载： ```python import aiohttp import asyncio async def download_image(session, url, filename): async with session.get(url) as response: with open(filename, 'wb') as f: while True: chunk = await response.content.read(1024) if not chunk: break f.write(chunk) async def main(images): async with aiohttp.ClientSession() as session: tasks = [] for i, url in enumerate(images): filename = f'image_{i}.jpg' task = asyncio.create_task(download_image(session, url, filename)) tasks.append(task) await asyncio.gather(*tasks) # 获取图片URL列表 note_id = '123456' cookies = {'cookie1': 'value1'} headers = { 'User-Agent': '...', 'Cookie': '; '.join([f'{k}={v}' for k, v in cookies.items()]), 'Referer': f'https://www.xiaohongshu.com/explore/{note_id}' } url = f'https://www.xiaohongshu.com/api/sns/v1/note/{note_id}' response = requests.get(url, headers=headers) data = response.json() images = [img_info['url'] for img_info in data['data']['images']] # 运行异步下载 asyncio.run(main(images)) ``` ###