针对使用特定`User-Agent`和`sys`模块爬取中国天气网（www.weather.com.cn）上三亚市今日天气预报的需求，核心解构为三点：一是构建符合目标网站访问规则的请求头，二是解析网站返回的HTML以提取天气信息，三是使用`sys`模块处理可能的命令行参数或配置 [ref_3]。以下将分步进行方案推演并生成代码。 **1. 问题解构与方案推演** * **目标网站与数据源**：确定使用中国天气网（www.weather.com.cn）。根据历史经验，其城市天气页面URL通常遵循 `http://www.weather.com.cn/weather1d/城市代码.shtml` 的格式 [ref_4]。 * **请求头配置**：为模拟指定型号的Vivo手机浏览器（Android 14, Chrome 131.0.6778.200, VivoBrowser 28.4.30.0），必须在HTTP请求的`headers`中精确设置`User-Agent`。这是绕过基础反爬机制的关键 [ref_1][ref_3][ref_6]。 * **数据解析**：使用`BeautifulSoup`库（需要额外安装）解析HTML，定位包含今日天气信息的HTML元素。这通常涉及分析页面结构，找到包含温度、天气状况、风力等信息的特定`div`或`li`标签及其CSS类名 [ref_4]。 * **`sys`模块的应用**：虽然爬虫核心逻辑不依赖于`sys`，但`sys`模块可用于从命令行参数中动态获取城市代码或输出文件名，增加程序的灵活性。例如，通过`sys.argv`获取用户输入的城市代码。 * **错误处理与稳健性**：需包含网络请求异常处理（如`requests.exceptions.RequestException`）和解析失败的处理逻辑，确保程序在遇到问题时能优雅退出或给出明确提示。 **2. 代码实现** 以下是基于以上推演编写的Python 3.13代码，包含详细的注释。 ```python import sys import requests from bs4 import BeautifulSoup from datetime import datetime def get_weather(city_code): """ 根据城市代码获取中国天气网上该城市的今日天气预报。 参数: city_code (str): 中国天气网的城市代码，例如三亚为 `101310201`。 返回: dict: 包含解析出的天气信息的字典。如果解析失败，返回None。 """ # 1. 构建目标URL url = f"http://www.weather.com.cn/weather1d/{city_code}.shtml" # 2. 设置请求头，核心是使用指定的User-Agent模拟Vivo手机浏览器 headers = { 'User-Agent': 'Mozilla/5.0 (Linux; Android 14; V2199A) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.6778.200 Mobile Safari/537.36 VivoBrowser/28.4.30.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'keep-alive', } try: # 3. 发送HTTP GET请求 response = requests.get(url, headers=headers, timeout=10) response.raise_for_status() # 检查请求是否成功（状态码200） response.encoding = 'utf-8' # 设置编码，避免乱码 # 4. 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.text, 'html.parser') # 5. 定位今日天气数据。此处解析逻辑需根据中国天气网实际页面结构调整。 # 常见结构：今日天气信息在一个id或class为`today`或`t`的`div`中，或第一个`li`标签。 weather_info = {} # 示例1：尝试通过类名 `t clearfix` 查找（常见于旧版页面） today_div = soup.find('div', class_='t clearfix') if today_div: # 提取天气状况 wea_element = today_div.find('p', class_='wea') weather_info['天气状况'] = wea_element.get_text(strip=True) if wea_element else '未知' # 提取温度 tem_element = today_div.find('p', class_='tem') if tem_element: high_tem_span = tem_element.find('span') low_tem_i = tem_element.find('i') weather_info['最高温'] = high_tem_span.get_text(strip=True) if high_tem_span else '未知' weather_info['最低温'] = low_tem_i.get_text(strip=True) if low_tem_i else '未知' else: weather_info['最高温'] = '未知' weather_info['最低温'] = '未知' # 提取风力 win_element = today_div.find('p', class_='win') if win_element: wind_spans = win_element.find_all('span') weather_info['风力'] = '/'.join([s.get('title', '') for s in wind_spans]) if wind_spans else '未知' else: weather_info['风力'] = '未知' # 示例2：如果上述方法失效，尝试通过 `id="7d"` 的ul下的第一个li获取（新版常见） if not weather_info: seven_day_ul = soup.find('ul', id='7d') if seven_day_ul: first_li = seven_day_ul.find('li') if first_li: date_span = first_li.find('span', class_='date') wea_i = first_li.find('i', class_='wea') tem_spans = first_li.find_all('span', class_='tem') win_spans = first_li.find_all('span', class_='win') # 检查是否是“今天”（通常第一个li就是今天） if date_span and ('今天' in date_span.get_text() or datetime.now().strftime('%d') in date_span.get_text()): weather_info['日期'] = date_span.get_text(strip=True) weather_info['天气状况'] = wea_i.get_text(strip=True) if wea_i else '未知' if len(tem_spans) >= 2: weather_info['最高温'] = tem_spans[0].get_text(strip=True) weather_info['最低温'] = tem_spans[1].get_text(strip=True) weather_info['风力'] = win_spans[0].get('title', '未知') if win_spans else '未知' # 6. 如果两种方式都未找到数据，返回None return weather_info if weather_info else None except requests.exceptions.RequestException as e: print(f"网络请求出错: {e}") return None except Exception as e: print(f"解析过程出错: {e}") return None def main(): """ 主函数，演示如何使用sys模块从命令行参数获取城市代码。 """ # 使用sys模块处理命令行参数。 # 预期用法: python weather_spider.py <city_code> # 例如: python weather_spider.py 101310201 if len(sys.argv) < 2: # 如果未从命令行输入城市代码，则默认使用三亚的城市代码 [ref_4] city_code = '101310201' # 三亚的城市代码 print("未提供城市代码参数，将使用默认值（三亚: 101310201）。") print(f"提示：您可以通过命令行指定城市代码，例如：`python {sys.argv[0]} 101020100` (上海)") else: city_code = sys.argv[1] print(f"正在爬取城市代码为 {city_code} 的今日天气...") weather_data = get_weather(city_code) # 7. 输出结果 if weather_data: print("\n=== 今日天气预报 ===") # 使用表格形式结构化输出 print(f"| {'项目':<8} | {'详情':<15} |") print(f"|{'-'*10}|{'-'*17}|") for key, value in weather_data.items(): print(f"| {key:<8} | {value:<15} |") else: print("未能成功获取或解析天气数据。可能原因：") print(" 1. 网络连接问题。") print(" 2. 城市代码错误。") print(" 3. 网站页面结构已更新，需要调整解析代码。") if __name__ == "__main__": main() ``` **3. 使用说明与关键点解释** | 项目 | 说明 | | :--- | :--- | | **核心依赖库** | `requests` (用于网络请求)， `beautifulsoup4` (用于HTML解析)。需通过`pip install requests beautifulsoup4`安装。 | | **`sys`模块的作用** | 代码中`sys.argv`用于接收命令行参数。这允许用户在不修改代码的情况下，动态指定要查询的城市代码，提升了脚本的通用性。例如，执行`python script.py 101020100`即可查询上海的天气 [ref_3]。 | | **`User-Agent`的重要性** | 提供的`User-Agent`字符串准确模拟了特定移动设备浏览器，这是避免被中国天气网简单反爬策略拦截的关键步骤 [ref_1][ref_3][ref_6]。请求头中还添加了其他常见字段（如`Accept`），使请求看起来更像真实浏览器。 | | **解析逻辑的适应性** | 代码提供了两种常见的HTML结构解析路径。中国天气网的页面结构可能随时间或地区变化，若解析失败，需要使用者使用浏览器开发者工具重新分析页面中目标数据所在的HTML标签和CSS类名，并相应调整`BeautifulSoup`的查找逻辑 [ref_4]。 | | **城市代码** | 三亚的城市代码`101310201`是预设值。其他城市的代码需要自行查找（通常可通过查看网站源代码或搜索获得）。 | | **运行示例** | 直接运行`python sanya_weather.py`将爬取三亚天气。运行`python sanya_weather.py 101010100`将尝试爬取北京（代码101010100）的天气。 | **4. 注意事项** * **法律与道德**：此代码仅用于学习和演示目的。实际爬取时应遵守网站的`robots.txt`协议，控制请求频率，避免对目标网站服务器造成过大压力。 * **页面结构变更**：网页爬虫高度依赖目标网站的HTML结构。若中国天气网改版，上述解析代码很可能失效，需要重新定位数据元素。 * **错误处理**：代码包含了基础的网络和解析异常处理，但在生产环境中可能需要更完善的日志记录和重试机制。