### 编写Python Web爬虫抓取IMDb Top 250电影 为了构建一个能够有效抓取IMDb网站上Top 250电影列表的Web爬虫，可以采用`requests`库发起HTTP请求，并借助`BeautifulSoup`库解析HTML文档。考虑到目标网页可能存在的反爬措施，还需要加入适当的延时策略和其他手段来规避检测。 #### 导入必要的库和模块 首先安装所需的第三方包： ```bash pip install requests beautifulsoup4 lxml ``` 接着引入这些依赖项： ```python import time import random import json from bs4 import BeautifulSoup as soup import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } ``` #### 发送带有适当间隔时间的请求 为了避免触发服务器端设置的频率限制或其他形式的防护机制，在连续发出多个请求之间应保持一定的时间差。这里随机设置了每次请求之间的等待时间为1至3秒不等。 ```python def fetch_page(url): response = None try: response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") # Sleep between each request to avoid getting blocked by the server. sleep_time = round(random.uniform(1, 3), 2) print(f'Sleeping for {sleep_time} seconds...') time.sleep(sleep_time) except Exception as e: print(e) finally: return response.text if response is not None else '' ``` #### 解析页面内容并提取所需信息 一旦成功获取到了响应体中的HTML源码，则可以通过调用`BeautifulSoup`对象的相关方法完成DOM树结构化表示；之后再定位到具体的标签节点读取出对应的文本属性值即可得到想要的结果集。 ```python def parse_movie_list(html_content): movie_items = [] parsed_html = soup(html_content,'lxml') table_body = parsed_html.find('tbody', class_='lister-list') rows = table_body.findAll('tr')[:] for row in rows: title_column = row.find('td',class_="titleColumn") rating_column = row.find('td',class_="ratingColumn imdbRating") rank = int(title_column.get_text(strip=True).split('.')[0]) name = title_column.a.string.strip() year = title_column.span.string.replace('(','').replace(')','').strip() rate = float(rating_column.strong['data-value']) if rating_column.strong else "N/A" item = {'rank':rank, 'name':name, 'year':int(year), 'rate':rate} movie_items.append(item) return movie_items ``` #### 将收集的信息保存成JSON文件 最后一步就是把整理好的字典序列转换为字符串格式存盘备用。此处选择了相对简洁直观易于阅读理解的json格式作为持久化的载体之一。 ```python def save_to_json(data,filename='imdb_top_250.json'): with open(filename,'w+',encoding='utf8')as f: json.dump(data,f,ensure_ascii=False,indent=4) ``` #### 主函数逻辑控制流程 定义入口点main()负责串联起上述各个功能单元形成完整的业务链条。 ```python if __name__ == '__main__': url = r'https://www.imdb.com/chart/top/' html_doc = fetch_page(url) movies_data = parse_movie_list(html_doc) save_to_json(movies_data) ``` 以上即是一个较为完善的针对特定场景下的Python网络爬虫解决方案[^1]。值得注意的是实际操作过程中还需密切关注法律法规的要求以及对方站点的服务条款说明，确保行为合法合规的同时尊重他人权益不受侵害。