### 使用Python实现微博数据爬取教程 #### 准备环境 为了顺利进行微博数据的爬取，需安装必要的库。通常使用的库有`requests`用于发送HTTP请求获取网页内容；`BeautifulSoup`或`lxml`解析HTML文档提取所需信息；对于模拟浏览器行为可选用`selenium`。 ```bash pip install requests beautifulsoup4 lxml selenium ``` #### 配置Selenium WebDriver 如果选择使用selenium来加载动态页面，则需要下载对应版本的WebDriver，并确保其路径已加入系统环境变量中以便于调用[^2]。 #### 编写爬虫脚本 编写一个简单的Python程序作为微博爬虫的基础框架： ```python import time from selenium import webdriver from selenium.webdriver.common.by import By def init_driver(): options = webdriver.ChromeOptions() # 设置无头模式（不打开浏览器窗口） options.add_argument('--headless') driver = webdriver.Chrome(options=options) return driver def login_weibo(driver, username, password): """登录微博""" driver.get('https://weibo.com/') # 填入用户名密码并提交表单完成自动登录过程 user_input = driver.find_element(By.NAME, "username") pass_input = driver.find_element(By.NAME, "password") user_input.send_keys(username) pass_input.send_keys(password) submit_button = driver.find_element(By.XPATH, "//a[@node-type='submitBtn']") submit_button.click() time.sleep(5) def fetch_data(driver, url): """抓取指定URL下的微博信息""" driver.get(url) time.sleep(3) # 等待页面加载完毕 elements = driver.find_elements(By.CSS_SELECTOR, ".WB_text")[:10] data_list = [] for element in elements: text = element.text.strip() if not text: continue item = { 'content': text, } data_list.append(item) return data_list if __name__ == '__main__': driver = init_driver() try: login_weibo(driver, "your_username", "your_password") fetched_items = fetch_data(driver, "https://weibo.com/") print(fetched_items) finally: driver.quit() ``` 此段代码展示了如何通过Selenium自动化工具控制Chrome浏览器访问网站、输入账号密码实现自动登陆功能以及定位特定CSS选择器从而收集前十个微博正文的内容。 #### 数据存储至Excel文件 当成功获取到想要的数据后，可以利用`openpyxl`这个第三方模块将这些结构化的数据保存成Excel表格形式方便后续处理分析。 ```python from openpyxl import Workbook wb = Workbook() ws = wb.active ws.title = "微博信息" # 添加列名 ws.append(['名字', '时间', '内容', '评论']) for item in fetched_items: row = [ '', # 名字字段留空 '', # 时间字段留空 item['content'], '' # 评论字段留空 ] ws.append(row) wb.save("weibo_data.xlsx") ``` 上述操作会创建一个新的工作簿对象并将活动的工作表命名为“微博信息”，接着向其中追加一行包含四列表头名称的数据记录最后把整个工作簿另存为名为`weibo_data.xlsx`的新文件[^3]。