在 PyCharm 中爬取豆瓣电影 Top250 的图片、电影名、导演及参演人员、年份、评分、评价人数、引言，可按以下步骤操作。 首先，创建一个 Python 项目并安装必要的库，使用以下命令安装`requests`和`beautifulsoup4`： ```bash pip install requests beautifulsoup4 ``` 以下是实现爬取功能的代码： ```python import requests from bs4 import BeautifulSoup import os # 创建保存图片的文件夹 def create_dir(): file_path = r'./film_pic' if os.path.exists(file_path): # 若文件夹已存在，删除后重新创建 for root, dirs, files in os.walk(file_path, topdown=False): for name in files: os.remove(os.path.join(root, name)) for name in dirs: os.rmdir(os.path.join(root, name)) os.rmdir(file_path) os.mkdir(file_path) # 下载图片 def download_image(url, filename): response = requests.get(url) if response.status_code == 200: with open(filename, 'wb') as f: f.write(response.content) # 爬取单页数据 def scrape_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') items = soup.find_all('div', class_='item') movies = [] for item in items: # 图片 img_url = item.find('img')['src'] img_name = os.path.join('./film_pic', img_url.split('/')[-1]) download_image(img_url, img_name) # 电影名 title = item.find('span', class_='title').text # 导演及参演人员 info = item.find('div', class_='bd').p.text.strip().split('\n')[0] # 年份 year = item.find('div', class_='bd').p.text.strip().split('\n')[1].strip().split('/')[0].strip() # 评分 rating = item.find('span', class_='rating_num').text # 评价人数 num_reviews = item.find('div', class_='star').find_all('span')[-1].text[:-3] # 引言 quote = item.find('span', class_='inq') quote = quote.text if quote else '' movie = { 'title': title, 'info': info, 'year': year, 'rating': rating, 'num_reviews': num_reviews, 'quote': quote, 'img_name': img_name } movies.append(movie) return movies return [] # 主函数 def main(): create_dir() all_movies = [] for start in range(0, 250, 25): url = f'https://movie.douban.com/top250?start={start}' movies = scrape_page(url) all_movies.extend(movies) for movie in all_movies: print(movie) if __name__ == "__main__": main() ``` ### 代码解释 此代码定义了几个函数： - `create_dir()`函数用于创建保存图片的文件夹，若文件夹已存在则删除后重新创建。 - `download_image()`函数根据图片的 URL 下载图片并保存到指定文件夹。 - `scrape_page()`函数爬取单页的数据，包含图片、电影名、导演及参演人员、年份、评分、评价人数、引言等信息。 - `main()`函数作为主函数，调用`create_dir()`创建文件夹，循环爬取 10 页的数据，将结果保存到`all_movies`列表中，并打印出所有电影的信息。 ### 注意事项 - 豆瓣网站有反爬虫机制，需要设置合适的`User-Agent`来模拟浏览器访问。 - 爬取数据时要遵守网站的`robots.txt`规则。