### 使用 Python Requests 和 BeautifulSoup 爬取携程旅游景点数据的代码示例 以下是一个完整的代码示例，展示如何使用 `Requests` 和 `BeautifulSoup` 爬取携程旅游景点的数据。此代码基于携程网 URL 的编写规律和 HTML 数据结构进行设计[^1]。 ```python import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent # 设置请求头以模拟浏览器访问 ua = UserAgent() headers = { "User-Agent": ua.random, "Referer": "https://www.ctrip.com/" } # 定义基础 URL base_url = "https://you.ctrip.com/sight/china110000.html?page={page}" def fetch_attractions_data(): attractions_data = [] for page in range(1, 6): # 假设抓取前5页数据 url = base_url.format(page=page) response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 查找景点列表 attractions = soup.find_all('div', class_='list_mod2') for attraction in attractions: title = attraction.find('dt').find('a').get_text(strip=True) if attraction.find('dt') else None link = attraction.find('dt').find('a')['href'] if attraction.find('dt') and attraction.find('dt').find('a') else None description = attraction.find('dd').get_text(strip=True) if attraction.find('dd') else None # 构造数据字典 item = { "title": title, "link": "https://you.ctrip.com" + link if link else None, "description": description } attractions_data.append(item) else: print(f"Failed to fetch data from {url}. Status code: {response.status_code}") return attractions_data if __name__ == "__main__": data = fetch_attractions_data() for item in data: print(item) ``` ### 代码说明 - **请求头设置**：通过 `fake_useragent` 库生成随机的 `User-Agent`，以模拟真实用户行为并减少被反爬的风险[^2]。 - **URL 模式**：携程旅游景点页面的 URL 具有固定的分页模式，通过更改 `page` 参数可以访问不同页面的数据[^1]。 - **HTML 解析**：使用 `BeautifulSoup` 提取景点的标题、链接和描述信息。解析逻辑基于 HTML 元素的标签和类名[^3]。 - **异常处理**：在请求失败时，打印错误信息以便调试。 ### 注意事项 - 在运行代码之前，请确保安装了所需的库（如 `requests`、`beautifulsoup4` 和 `fake_useragent`）。 - 如果目标网站的 HTML 结构发生变化，可能需要调整解析逻辑。 - 对于大规模数据抓取，建议引入延迟机制或代理池以避免 IP 封禁。