### 解决方案 在使用 `requests` 和 `pandas` 爬取豆瓣电影排行榜数据并保存为 CSV 文件的过程中，可能会遇到多种问题。以下是常见问题及其解决方案： #### 1. 请求被拒绝或返回异常页面 如果目标网站检测到爬虫行为，可能会阻止访问或返回异常页面。可以通过设置合适的请求头来模拟浏览器访问。 ```python import requests url = "https://movie.douban.com/top250" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to fetch the page with status code {response.status_code}") ``` 此代码片段设置了自定义的 User-Agent 来伪装成真实用户的浏览器访问[^5]。 --- #### 2. 数据解析失败 豆瓣电影排行榜的数据通常嵌套在 HTML 中，可以借助 BeautifulSoup 或 lxml 解析工具提取所需字段。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') movies = [] for item in soup.select('.item'): title = item.find('span', class_='title').text.strip() rating = float(item.find('span', class_='rating_num').text.strip()) movies.append({'Title': title, 'Rating': rating}) ``` 这段代码利用 CSS 选择器定位每部电影的信息，并将其存入列表中[^1]。 --- #### 3. Pandas 导出 CSV 出错 当尝试将数据写入 CSV 文件时，可能出现编码错误或其他格式问题。确保 DataFrame 的列名与数据一致，并指定正确的编码方式。 ```python import pandas as pd df = pd.DataFrame(movies) try: df.to_csv("douban_top250.csv", index=False, encoding="utf-8-sig") except Exception as e: print(f"Error occurred while saving to CSV: {e}") ``` 这里指定了 UTF-8-SIG 编码以兼容 Excel 软件打开文件时的要求[^1]。 --- #### 4. 动态加载内容无法抓取 某些网站会动态加载部分内容（如 AJAX），此时仅靠静态 HTML 抓取不到全部数据。可分析网络请求找到接口地址重新发起请求。 假设豆瓣电影排行榜的部分数据由 API 接口提供，则可以直接向该接口发送 GET 请求获取 JSON 格式的响应数据[^4]。 ```python api_url = "https://example-api-for-douban-movie-top250.com/data" params = {'start': 0, 'limit': 250} data_response = requests.get(api_url, params=params, headers=headers).json() print(data_response.keys()) # 查看键值以便进一步处理 ``` 注意替换真实的 API 地址以及参数名称。 --- #### 完整示例代码 综合上述各部分逻辑，给出完整的实现如下所示： ```python import requests from bs4 import BeautifulSoup import pandas as pd def scrape_douban_movies(): url = "https://movie.douban.com/top250" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Request failed with status code {response.status_code}") soup = BeautifulSoup(response.text, 'html.parser') movies = [] for item in soup.select('.item'): title = item.find('span', class_='title').text.strip() rating = float(item.find('span', class_='rating_num').text.strip()) movies.append({'Title': title, 'Rating': rating}) df = pd.DataFrame(movies) df.to_csv("douban_top250.csv", index=False, encoding="utf-8-sig") return True except Exception as e: print(f"An error occurred during scraping: {str(e)}") return False scrape_douban_movies() ``` --- ### 注意事项 - 如果频繁访问目标站点可能导致 IP 被封禁，请合理控制请求频率。 - 遵守目标网站的服务条款和隐私政策，在合法合规的前提下开展工作。