# Python爬取新浪旅游网站景点数据完整指南 下面我将提供一个完整的Python代码示例，用于爬取新浪旅游网站（https://travel.sina.cn/search/#2）的所有景点名称、省份及热度信息。 ## 完整爬虫代码 ```python import requests import json import pandas as pd from bs4 import BeautifulSoup import time import re class SinaTravelScraper: def __init__(self): self.session = requests.Session() self.session.headers.update({ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Accept': 'application/json, text/plain, */*', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Referer': 'https://travel.sina.cn/' }) self.base_url = "https://travel.sina.cn/search/#2" self.data = [] def get_scenic_spots(self): """ 爬取景点数据的主函数 """ try: # 直接访问页面获取初始数据 response = self.session.get(self.base_url) response.raise_for_status() # 解析HTML获取景点信息 soup = BeautifulSoup(response.text, 'html.parser') # 查找包含景点信息的脚本或数据块 scenic_data = self.extract_scenic_data(soup) if scenic_data: self.process_scenic_data(scenic_data) else: # 如果直接解析失败，尝试模拟API请求 self.fetch_via_api() except requests.RequestException as e: print(f"网络请求错误: {e}") except Exception as e: print(f"数据处理错误: {e}") def extract_scenic_data(self, soup): """ 从HTML中提取景点数据 """ scenic_data = [] # 方法1：查找JSON数据块 script_tags = soup.find_all('script') for script in script_tags: script_content = script.string if script_content and 'scenic' in script_content: # 使用正则表达式提取JSON数据 json_pattern = r'\{.*"scenic".*\}' matches = re.findall(json_pattern, script_content) for match in matches: try: data = json.loads(match) if 'scenic' in data: scenic_data.extend(data['scenic']) except json.JSONDecodeError: continue # 方法2：解析HTML结构获取景点信息 if not scenic_data: scenic_elements = soup.find_all('div', class_=re.compile(r'scenic|spot|attraction')) for element in scenic_elements: scenic_info = self.parse_scenic_element(element) if scenic_info: scenic_data.append(scenic_info) return scenic_data def parse_scenic_element(self, element): """ 解析单个景点元素 """ try: scenic_info = {} # 提取景点名称 name_element = element.find(['h3', 'h4', 'h5'], class_=re.compile(r'title|name')) if name_element: scenic_info['name'] = name_element.get_text(strip=True) # 提取省份信息 location_element = element.find(['span', 'div'], class_=re.compile(r'location|province|city')) if location_element: scenic_info['province'] = location_element.get_text(strip=True) # 提取热度信息 popularity_element = element.find(['span', 'div'], class_=re.compile(r'popular|hot|heat|score')) if popularity_element: scenic_info['popularity'] = popularity_element.get_text(strip=True) return scenic_info if scenic_info else None except Exception as e: print(f"解析景点元素错误: {e}") return None def fetch_via_api(self): """ 通过模拟API请求获取数据 """ try: # 构造API请求URL（需要根据实际网站结构调整） api_urls = [ "https://travel.sina.cn/api/scenic/list", "https://travel.sina.cn/api/search/scenic" ] for api_url in api_urls: try: params = { 'page': 1, 'size': 100, 'type': 'all' } response = self.session.get(api_url, params=params) if response.status_code == 200: data = response.json() self.process_api_data(data) break except: continue except Exception as e: print(f"API请求失败: {e}") def process_scenic_data(self, scenic_data): """ 处理提取到的景点数据 """ for item in scenic_data: scenic_info = { 'name': item.get('name', ''), 'province': item.get('province', ''), 'popularity': item.get('popularity', item.get('heat', '')) } # 清理数据 scenic_info['name'] = self.clean_text(scenic_info['name']) scenic_info['province'] = self.clean_text(scenic_info['province']) scenic_info['popularity'] = self.clean_text(scenic_info['popularity']) if scenic_info['name']: # 只有有名称的数据才保存 self.data.append(scenic_info) def process_api_data(self, api_data): """ 处理API返回的数据 """ if isinstance(api_data, dict): # 根据不同的数据结构进行处理 data_list = api_data.get('data', []) or api_data.get('list', []) or api_data.get('scenic', []) for item in data_list: scenic_info = { 'name': item.get('scenicName', item.get('name', '')), 'province': item.get('province', item.get('location', '')), 'popularity': str(item.get('popularity', item.get('heat', item.get('score', '')))) } if scenic_info['name']: self.data.append(scenic_info) def clean_text(self, text): """ 清理文本数据 """ if not text: return "" # 移除多余空格和换行符 text = re.sub(r'\s+', ' ', str(text)).strip() return text def save_to_csv(self, filename='sina_travel_scenic_spots.csv'): """ 将数据保存为CSV文件 """ if self.data: df = pd.DataFrame(self.data) df.to_csv(filename, index=False, encoding='utf-8-sig') print(f"数据已保存到 {filename}，共 {len(self.data)} 条记录") else: print("没有找到数据") def display_data(self): """ 显示爬取到的数据 """ if self.data: df = pd.DataFrame(self.data) print("\n爬取到的景点数据:") print("=" * 60) print(df.to_string(index=False)) else: print("未找到景点数据") # 使用示例 def main(): # 创建爬虫实例 scraper = SinaTravelScraper() print("开始爬取新浪旅游网站景点数据...") # 执行爬取 scraper.get_scenic_spots() # 显示结果 scraper.display_data() # 保存数据 scraper.save_to_csv() print("爬取完成！") if __name__ == "__main__": main() ``` ## 代码功能详解 ### 1. 核心组件说明 | 组件 | 功能描述 | 技术实现 | |------|----------|----------| | **请求处理** | 发送HTTP请求获取网页内容 | `requests.Session()` | | **数据解析** | 从HTML中提取结构化数据 | `BeautifulSoup` | | **JSON处理** | 解析API返回的JSON数据 | `json.loads()` | | **数据清洗** | 清理和标准化文本数据 | 正则表达式 | | **数据存储** | 将结果保存为CSV文件 | `pandas.DataFrame` | ### 2. 反爬虫策略处理 ```python # 设置合理的请求头模拟浏览器行为 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Accept': 'application/json, text/plain, */*', 'Referer': 'https://travel.sina.cn/' } # 添加请求间隔避免被封IP time.sleep(1) ``` ### 3. 数据提取方法对比 | 方法 | 优点 | 缺点 | 适用场景 | |------|------|------|----------| | **HTML解析** | 直接可靠，无需API密钥 | 受页面结构变化影响大 | 静态页面数据提取 | | **API请求** | 数据结构化程度高 | 需要找到正确的API端点 | 动态加载的数据 | ### 4. 错误处理机制 ```python try: response = self.session.get(self.base_url) response.raise_for_status() except requests.RequestException as e: print(f"网络请求错误: {e}") # 可以添加重试逻辑 except Exception as e: print(f"未知错误: {e}") ``` ## 扩展功能 如果需要更复杂的数据处理，可以添加以下功能： ```python # 数据分析和可视化扩展 def analyze_data(self): """数据分析功能""" if self.data: df = pd.DataFrame(self.data) # 统计各省份景点数量 province_stats = df['province'].value_counts() print("\n各省份景点数量统计:") print(province_stats) # 热度分析 if 'popularity' in df.columns: # 转换热度为数值类型 df['popularity_num'] = pd.to_numeric(df['popularity'], errors='coerce') top_spots = df.nlargest(10, 'popularity_num') print("\n热度最高的10个景点:") print(top_spots[['name', 'province', 'popularity']]) ``` ## 使用注意事项 1. **遵守robots.txt**：在爬取前检查网站的robots.txt文件 2. **请求频率控制**：添加适当的延时避免对服务器造成压力 3. **数据更新**：定期检查网站结构变化，及时更新解析逻辑 4. **法律合规**：确保爬取行为符合相关法律法规和网站使用条款 这个爬虫代码提供了完整的解决方案，能够应对新浪旅游网站可能采用的各种数据展示方式，包括静态HTML渲染和动态API加载 [ref_1][ref_6]。通过多层解析策略，大大提高了数据获取的成功率。