### Python 微博数据爬取与情感分析代码示例 以下是通过 Python 实现微博数据爬取以及对其进行情感分析的一个完整流程。此过程分为两个主要部分：数据采集和数据分析。 #### 数据采集 为了从微博获取数据，可以利用 `requests` 和 `BeautifulSoup` 库来模拟 HTTP 请求并解析网页内容。需要注意的是，微博的数据通常由动态加载生成，因此可能需要借助 Selenium 或者直接调用其 API 来实现更高效的数据抓取[^3]。 ```python import requests from bs4 import BeautifulSoup import json def crawl_weibo_data(keyword, num_pages=10): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } base_url = f"https://s.weibo.com/weibo?q={keyword}&page=" all_results = [] for i in range(1, num_pages + 1): url = base_url + str(i) response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') items = soup.find_all('div', class_='card-wrap') # Adjust according to actual HTML structure for item in items: try: text = item.find('p', class_='txt').get_text(strip=True) time = item.find('span', class_='time').get_text(strip=True) result = {"text": text, "time": time} all_results.append(result) except Exception as e: continue return all_results ``` #### 情感分析 对于中文文本的情感分析，可采用预训练模型如 SnowNLP 或 BERT 进行处理。这里提供基于 SnowNLP 的简单实现方法： ```python from snownlp import SnowNLP def analyze_sentiment(data): sentiments = [] for entry in data: s = SnowNLP(entry['text']) sentiment_score = s.sentiments entry['sentiment'] = sentiment_score sentiments.append(sentiment_score) average_sentiment = sum(sentiments) / len(sentiments) if sentiments else None return data, average_sentiment ``` 将以上两部分结合起来即可完成整个任务流。注意，在实际应用中还需要考虑反爬虫机制、IP 封禁等问题，并适当调整请求频率或使用代理池以规避风险[^4]。