### 使用 Jupyter Notebook 编写爬虫程序获取中国旅游景点数据 #### 准备工作 在开始编写爬虫之前，需安装必要的库并配置环境。常用的 Python 库包括 `requests` 和 `BeautifulSoup` 来处理 HTTP 请求和解析 HTML 数据[^1]。 ```bash pip install requests beautifulsoup4 jupyter ``` 启动 Jupyter Notebook 后，在单元格中导入所需模块： ```python import requests from bs4 import BeautifulSoup import pandas as pd ``` --- #### 步骤一：目标网站分析 选择一个提供中国旅游景点信息的目标网站（如马蜂窝、携程等），并通过浏览器开发者工具查看页面结构，找到存储景点名称、地址和其他相关信息的标签[^1]。 假设目标网页中的景点列表位于 `<div class="sight_item">` 下，则可以提取这些节点的内容。 --- #### 步骤二：发送请求 使用 `requests.get()` 方法向目标 URL 发送 GET 请求，并保存响应内容以便后续解析。 ```python url = 'https://example.com/tourist-sights' # 替换为目标网址 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: print(f"Failed to retrieve data: {response.status_code}") ``` --- #### 步骤三：HTML 解析 利用 `BeautifulSoup` 对返回的 HTML 文本进行解析，定位到包含景点信息的具体标签。 ```python soup = BeautifulSoup(html_content, 'html.parser') sights_list = soup.find_all('div', class_='sight_item') # 假设这是景点容器类名 ``` --- #### 步骤四：数据提取 遍历每个景点项，提取所需的字段（如名称、评分、位置）。如果某些字段可能缺失，应加入异常处理逻辑。 ```python data = [] for sight in sights_list: name = sight.find('h3').text.strip() if sight.find('h3') else None rating = float(sight.find('span', class_='rating_num').text) \ if sight.find('span', class_='rating_num') else None location = sight.find('p', class_='location').text.strip() \ if sight.find('p', class_='location') else None data.append({ 'name': name, 'rating': rating, 'location': location }) ``` --- #### 步骤五：数据存储 将收集到的信息转换为 DataFrame 并导出至 CSV 文件或其他格式文件中。 ```python df = pd.DataFrame(data) df.to_csv('tourist_sights.csv', index=False, encoding='utf-8-sig') print("Data has been saved successfully.") ``` --- #### 注意事项 由于网络爬虫涉及法律合规性和道德问题，务必确认所访问站点允许自动化抓取行为。部分网站会设置反爬机制，可通过调整请求头或引入延时等方式规避检测。 ```python import time time.sleep(2) # 设置每两次请求之间的间隔时间 ``` ---