### Python爬虫获取城市旅游数据并进行分析与可视化的解决方案 #### 1. 数据采集阶段 为了从网络上抓取城市旅游的相关数据，可以利用 `requests` 和 `BeautifulSoup` 库完成网页的数据提取工作。以下是具体实现方式： ```python import requests from bs4 import BeautifulSoup def fetch_tourism_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 提取所需字段（假设页面有景点名称和评分） attractions = [] for item in soup.find_all('div', class_='attraction-item'): name = item.find('h3').text.strip() rating = float(item.find('span', class_='rating').text.strip()) attractions.append({'name': name, 'rating': rating}) return attractions ``` 此代码片段展示了如何通过指定 URL 抓取目标网站上的旅游数据，并将其存储为结构化列表形式[^1]。 --- #### 2. 数据清洗与预处理 在实际应用中，原始数据可能包含噪声或缺失值，因此需要对其进行清理。例如去除重复项、填补空白值等操作。 ```python import pandas as pd data = [{'name': '景区A', 'rating': 4.5}, {'name': '景区B', 'rating': None}] df = pd.DataFrame(data) # 处理缺失值 df['rating'].fillna(df['rating'].mean(), inplace=True) # 删除重复记录 df.drop_duplicates(inplace=True) print(df.head()) ``` 这段脚本演示了如何使用 Pandas 对数据框中的数值型列执行均值填充以及去重功能[^1]。 --- #### 3. 数据分析部分 针对已收集到的城市旅游数据集，可采用统计学方法探索其中隐藏规律或者趋势。 ```python summary_stats = df.describe(include='all') top_rated_places = df.nlargest(10, 'rating') print("Summary Statistics:\n", summary_stats) print("\nTop Rated Attractions:\n", top_rated_places) ``` 上述例子说明怎样计算描述性统计数据以及找出评价最高的前十个地点[^2]。 --- #### 4. 数据可视化展示 最后一步就是把前面得到的结果转换成直观易懂的形式呈现出来。下面分别介绍了几种常见的图表类型及其对应的 Matplotlib 实现方案。 ##### 条形图：比较不同城市的平均得分情况 ```python plt.figure(figsize=(10, 6)) plt.bar(top_rated_places['name'], top_rated_places['rating'], color='blue') plt.title('Top Rated Tourist Attractions by City') plt.xlabel('Attraction Name') plt.ylabel('Average Rating') plt.xticks(rotation=45) plt.tight_layout() plt.show() ``` ##### 饼状图：显示各类别所占比例关系 ```python category_counts = df.groupby('category')['name'].count() plt.pie(category_counts.values, labels=category_counts.index, autopct='%1.1f%%') plt.axis('equal') plt.title('Distribution of Attraction Categories') plt.show() ``` 以上两段程序分别生成了一个水平方向排列的直方图用于对比各个顶级旅游胜地之间的受欢迎程度差异；另一个则是圆形分布图用来反映各分类项目在整个样本集合里占据份额的情况[^3]。 ---