### 如何爬取 `https://lishi.tianqi.com` 网站的历史天气数据 要实现对 `https://lishi.tianqi.com` 网站历史天气数据的爬取，可以按照以下方式设计解决方案： #### 数据分析与目标设定 该网站提供了按城市和地区划分的历史天气记录。通过观察 URL 结构发现，URL 中包含了两个主要参数：地区名称和日期范围。例如，`http://lishi.tianqi.com/beijing/201709.html` 表明这是北京市 2017 年 9 月的历史天气页面[^2]。 因此，为了获取指定时间段内的所有城市的天气数据，需要完成以下几个核心任务： - 构造动态请求 URL； - 解析 HTML 页面并提取所需字段； - 存储解析后的数据以便后续处理。 以下是具体的技术方案说明以及代码示例。 --- #### 技术选型 本案例采用 Python 编程语言配合第三方库来完成整个流程。涉及的主要技术栈包括但不限于以下几种工具和技术： - **requests**: 发起 HTTP 请求抓取网页内容。 - **BeautifulSoup 或 lxml**: 对返回的内容进行 DOM 树结构化操作从而定位特定标签节点读取出有用的信息片段。 - **pandas**: 将最终收集到的结果保存成 Excel 文件或者 CSV 文档形式便于查看管理。 --- #### 实现步骤详解 ##### 步骤一：准备环境安装依赖包 确保已安装必要的模块，如果尚未安装可通过 pip 安装命令执行如下操作： ```bash pip install requests beautifulsoup4 pandas openpyxl ``` ##### 步骤二：编写脚本逻辑框架 下面给出一段完整的示范程序用于演示如何自动化批量下载多个城市多个月份之间的每日详细气象统计数值。 ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_weather_data(city, year_month): base_url = f"http://lishi.tianqi.com/{city}/{year_month}.html" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' ' AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/89.0.4389.82 Safari/537.36' } try: response = requests.get(base_url, headers=headers) soup = BeautifulSoup(response.text, "lxml") table_body = soup.find('ul', class_='tqtongji2') dates = [] highs = [] lows = [] weathers = [] for li in table_body.findAll('li')[::]: date_info = ''.join(li.stripped_strings).split() if not date_info or len(date_info)<5: continue day_str, high_temp, low_temp, weather_desc = date_info[:4] dates.append(day_str.strip()) highs.append(high_temp.replace('℃','').strip()) lows.append(low_temp.replace('℃','').strip()) weathers.append(weather_desc.strip()) df = pd.DataFrame({ 'Date':dates, 'High Temp(°C)':highs, 'Low Temp(°C)':lows, 'Weather Condition':weathers}) return df except Exception as e: print(f"Error fetching {base_url}: {e}") return None if __name__ == "__main__": cities = ['beijing'] # 可扩展更多城市名列表 months = ["{}{:02d}".format(yr,mth) for yr in range(2021,2022) for mth in range(1,8)] all_dfs = [] for city in cities: for month in months: temp_df = fetch_weather_data(city,month) if isinstance(temp_df,pd.DataFrame): temp_df['City']=city.capitalize() all_dfs.append(temp_df) combined_df = pd.concat(all_dfs,axis=0,ignore_index=True) output_file='weather_records.xlsx' combined_df.to_excel(output_file,index=False,sheet_name="Historical Weather Data") print(f"All data has been saved into '{output_file}' successfully.") ``` 上述代码实现了针对单个城市某段时间范围内逐日最高最低温度及天气情况描述等内容项的自动检索功能，并将结果汇总导出至电子表格文件当中去[^4]。 --- #### 注意事项 在实际部署运行过程中需要注意一些潜在的风险因素及其规避措施： - 频繁访问可能触发反爬机制导致 IP 被封禁；建议适当降低频率加入随机延时等待间隔。 - 不同站点可能存在差异化的布局样式调整 CSS Selectors 查询表达式匹配相应位置元素即可适应变化。 - 特殊字符编码问题需确认服务器端响应头 Content-Type 是否声明 charset 参数值正确设置解码规则防止乱码现象发生。 --- #### 推荐学习资源 对于初学者而言，可以从嵩天老师开设于中国大学 MOOC 上线的一门公开在线课程入手深入理解掌握网络爬虫基础知识体系构建技巧[^5]。 ---