### Python 和 BeautifulSoup 的爬虫开发 #### 使用 Python 和 BeautifulSoup 进行网页数据抓取 BeautifulSoup 是一个强大的 HTML 解析工具，能够帮助开发者轻松地从网页中提取所需的数据。以下是基于 Python 和 BeautifulSoup 实现的一个简单爬虫示例[^1]。 #### 示例代码：获取中国城市天气信息 以下是一个简单的 Python 脚本，用于演示如何通过 BeautifulSoup 抓取并解析网页中的天气数据： ```python import requests from bs4 import BeautifulSoup def fetch_weather(city_url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(city_url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {city_url}") soup = BeautifulSoup(response.text, 'html.parser') weather_info = {} try: city_name = soup.find('div', class_='city-name').text.strip() temperature = soup.find('span', class_='temperature').text.strip() condition = soup.find('p', class_='condition').text.strip() weather_info['City'] = city_name weather_info['Temperature'] = temperature weather_info['Condition'] = condition except AttributeError as e: print("Error parsing data:", str(e)) return weather_info if __name__ == "__main__": url = "https://example.com/weather/shanghai" result = fetch_weather(url) for key, value in result.items(): print(f"{key}: {value}") ``` 此脚本实现了以下几个功能： - 发送 HTTP 请求到目标网站，并设置请求头以模拟浏览器访问行为。 - 利用 `requests` 库加载页面内容。 - 使用 BeautifulSoup 对返回的 HTML 文档进行解析。 - 提取特定标签内的文本数据（如城市名称、温度和天气状况），并将这些数据存储在一个字典中以便后续处理[^1]。 #### 注意事项 在实际项目中需要注意以下几点： - **合法性**：确保所要爬取的目标站点允许自动化访问；查阅其 robots.txt 文件了解规则。 - **反爬机制规避**：部分网站可能采用验证码或其他技术防止频繁访问，需考虑适当延时或更换 IP 地址等方式应对。 - **错误处理**：增加异常捕获逻辑提高程序健壮性。