### 如何用 Python 爬取小红书上关于手机的相关数据 要实现爬取小红书平台上有关“手机”的笔记及相关数据，可以通过以下方法完成： #### 方法概述 通过使用第三方库 `requests` 或者 Selenium 自动化工具模拟浏览器行为访问目标页面，并解析 HTML 数据提取所需信息。以下是具体实现方式。 --- #### 使用 Requests 和 BeautifulSoup 的简单爬虫方案 如果目标网页的内容可以直接由 HTTP 请求返回，则可以采用如下代码片段： ```python import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_notes(keyword='手机'): url = f"https://www.xiaohongshu.com/search?keyword={keyword}" response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') notes = [] for note in soup.find_all('div', class_='note-item'): # 假设这是笔记容器的选择器 title = note.find('h3').text.strip() content = note.find('p').text.strip() link = note.find('a')['href'] notes.append({ 'title': title, 'content': content, 'link': link }) return notes else: raise Exception(f"Failed to retrieve data with status code {response.status_code}") notes_data = fetch_notes() print(notes_data[:5]) # 打印前五个笔记作为示例 ``` 上述代码尝试请求指定关键词（默认为“手机”）的小红书搜索结果页，并从中抽取标题、正文摘要以及链接等字段[^1]。 注意：实际部署时需调整 CSS Selectors 来适配最新版网站结构变化情况；此外还需考虑反爬机制可能带来的干扰因素。 --- #### 利用 Selenium 实现更复杂的交互逻辑 当遇到动态加载或者需要登录验证才能查看全部内容的情况时，Selenium 是更好的解决方案之一。下面展示了一个基于 Selenium WebDriver 的例子： ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time options = webdriver.ChromeOptions() options.add_argument('--headless') # 设置无头模式运行浏览器 driver_service = ChromeService(executable_path='/path/to/chromedriver') with webdriver.Chrome(service=driver_service, options=options) as driver: wait = WebDriverWait(driver, timeout=10) try: driver.get("https://www.xiaohongshu.com/") search_box = wait.until(EC.presence_of_element_located((By.NAME, "search"))) search_box.send_keys("手机") submit_button = driver.find_element(By.CSS_SELECTOR,"button[type='submit']") submit_button.click() time.sleep(5) # 给予时间让页面完全渲染 articles = [] while True: article_elements = driver.find_elements(By.CLASS_NAME,'post-card__desc') new_articles = [article.text for article in article_elements] if not new_articles or set(new_articles).issubset(set([art['text']for art in articles])): break articles.extend([ {'index':len(articles)+i+1 , 'text':txt} for i, txt in enumerate(new_articles)]) next_page_btn = driver.find_element(By.LINK_TEXT ,'下一页>') next_page_btn.click() time.sleep(random.uniform(2,4)) finally: pass print(len(articles),"条记录已抓取完毕.") ``` 此脚本启动了一个隐形版本的 Google Chrome 浏览器实例，在首页输入框键入关键字 “手机”，点击提交按钮触发查询操作之后循环读取消息列表直到没有更多项为止[^3]。 --- #### 需要注意事项 - **合法性声明**: 上述两段程序仅作技术探讨用途，请勿滥用违反平台规定的行为。 - 尊重 API 接口限流策略和服务条款。 - 对抗频繁 IP 访问限制可引入代理池轮询切换不同出口地址减少被封禁风险。