### Python爬取南京地铁微博历史客流数据 以下是实现从南京地铁微博爬取历史客流数据的完整代码示例。该代码通过模拟请求访问微博页面，解析网页内容并提取所需的历史客流数据。 #### 步骤说明 1. 使用`requests`库发送HTTP请求到目标URL。 2. 利用`BeautifulSoup`或正则表达式解析HTML内容。 3. 提取日期、总客运量以及各条线路的具体客流数据。 4. 将结果保存至本地文件（如CSV或TXT）以便后续分析。 ```python import requests from bs4 import BeautifulSoup import re import csv import time def fetch_weibo_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') return str(soup) def extract_traffic_data(text): # 提取日期 date_pattern = r'(\d{1,2}月\d{1,2}日)' dates = re.findall(date_pattern, text) # 提取总客运量 total_traffic_pattern = r"客运量(\d+\.\d+)" total_traffics = re.findall(total_traffic_pattern, text) # 提取每条线路的客流数据 line_traffic_pattern = r"(S?\d+号线)\s*(\d+(\.\d+)?)" line_matches = re.findall(line_traffic_pattern, text) results = [] for i in range(len(dates)): data_dict = {"date": dates[i], "total_traffic": float(total_traffics[i])} for match in line_matches: line_name = match[0] traffic_value = float(match[1]) data_dict[line_name] = traffic_value results.append(data_dict) return results def save_to_csv(data_list, filename="nanjing_subway_traffic.csv"): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=data_list[0].keys()) writer.writeheader() writer.writerows(data_list) if __name__ == "__main__": weibo_url = "https://weibo.com/nanjingmetro" # 替换为目标微博主页的实际链接 raw_html_content = fetch_weibo_data(weibo_url) extracted_data = extract_traffic_data(raw_html_content) save_to_csv(extracted_data) print(f"成功保存 {len(extracted_data)} 条记录到 CSV 文件中.") ``` #### 关键点解释 - **headers设置**：为了防止被服务器识别为爬虫程序而拒绝访问，需伪装成浏览器发出请求[^1]。 - **正则匹配逻辑**：分别定义了用于捕获日期、总体客流量及单线客流量模式的三个不同正则表达式[^2]。 - **存储方式**：最终将以字典列表形式表示的所有天数及其对应数值写入CSV文档方便进一步处理与展示[^3]。 --- ### 注意事项 由于新浪微博可能调整其前端结构或者增加反爬机制，在实际运行过程中如果遇到问题可以尝试修改定位标签路径或是加入延时操作减少频率来规避检测风险。