### 使用Python编写网络爬虫爬取中国天气网天气数据 为了实现用Python编写网络爬虫来爬取中国天气网的天气数据，可以按照以下方法进行操作。这里将结合提供的代码示例和相关知识点[^1]，详细介绍如何完成这一任务。 #### 1. 环境准备 在开始编写爬虫之前，需要确保安装了必要的库，例如`requests`和`BeautifulSoup`。可以通过以下命令安装这些库： ```bash pip install requests beautifulsoup4 ``` #### 2. 获取网页内容 首先，需要使用`requests`库从目标网站获取HTML内容。以下是一个简单的函数示例，用于发送HTTP请求并获取网页内容[^2]： ```python import requests def fetch_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.content.decode('utf-8') else: return None ``` #### 3. 解析HTML内容 接下来，使用`BeautifulSoup`库解析HTML内容，并提取所需的数据。以下是一个函数示例，用于解析HTML并提取天气信息[^1]： ```python from bs4 import BeautifulSoup def parse_weather_data(html_text): final = [] soup = BeautifulSoup(html_text, "html.parser") body = soup.body data = body.find('div', {'id': '7d'}) if data is not None: ul = data.find('ul', {'class': 't clearfix'}) li_list = ul.find_all('li') for day in li_list: temp = [] date = day.find('h1').string temp.append(date) inf = day.find_all('p') temp.append(inf[0].string) # 天气状况 if inf[1].find('span') is None: temperature_highest = None else: temperature_highest = inf[1].find('span').string temperature_lowest = inf[1].find('i').string temp.append(temperature_highest) temp.append(temperature_lowest) final.append(temp) return final ``` #### 4. 主程序逻辑 最后，将上述两个部分组合在一起，形成一个完整的爬虫程序。以下是一个主程序的示例： ```python if __name__ == "__main__": url = "http://www.weather.com.cn/weather/101010100.shtml" # 示例URL html_content = fetch_html(url) if html_content: weather_data = parse_weather_data(html_content) for data in weather_data: print(f"日期: {data[0]}, 天气: {data[1]}, 最高温度: {data[2]}, 最低温度: {data[3]}") ``` ### 注意事项 - 在实际应用中，可能需要根据目标网站的具体结构调整解析逻辑。 - 确保遵守目标网站的`robots.txt`文件规定，避免违反其爬虫策略[^2]。 - 如果遇到动态加载的内容，可能需要使用`Selenium`等工具模拟浏览器行为。