### 编写网易云音乐排行榜爬虫获取2000条歌曲数据 要实现抓取网易云音乐的歌曲排行榜单并获取2000条数据，可以按照以下方法进行。此任务需要结合 `requests` 庢库、正则表达式以及可能的 `selenium` 工具来处理动态加载的数据。 #### 1. 环境准备 在开始之前，确保安装了所需的 Python 库： ```bash pip install requests beautifulsoup4 selenium ``` #### 2. 使用 Requests 和 BeautifulSoup 获取静态页面数据 如果目标网页是静态页面，可以直接使用 `requests` 和 `BeautifulSoup` 来解析 HTML 页面内容[^2]。 ```python import requests from bs4 import BeautifulSoup def fetch_static_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') return soup ``` #### 3. 处理动态加载的数据 如果目标网页中的数据是通过 JavaScript 动态加载的，则需要使用 `selenium` 模拟浏览器行为来抓取数据[^3]。 ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options def fetch_dynamic_data(url): chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 service = Service('path/to/chromedriver') # 替换为你的 chromedriver 路径 driver = webdriver.Chrome(service=service, options=chrome_options) driver.get(url) driver.switch_to.frame('contentFrame') # 切换到 iframe song_list = [] for i in range(20): # 假设每页有100首歌，共20页 elements = driver.find_elements(By.CLASS_NAME, 'some-class-name') # 替换为目标元素的类名 for element in elements: song_name = element.text song_list.append(song_name) next_button = driver.find_element(By.CLASS_NAME, 'next') # 下一页按钮 if 'disabled' in next_button.get_attribute('class'): break next_button.click() driver.quit() return song_list ``` #### 4. 解析 API 接口 网易云音乐的部分数据可以通过其 API 接口直接获取，这种方式效率更高。例如，可以通过抓包工具（如 Fiddler 或 Chrome DevTools）找到歌曲排行榜的接口地址，并模拟请求获取数据[^1]。 ```python import json def fetch_api_data(api_url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Referer': 'http://music.163.com/' } params = { 'limit': 100, # 每次获取的数量 'offset': 0 # 偏移量 } all_songs = [] while len(all_songs) < 2000: response = requests.get(api_url, headers=headers, params=params) data = json.loads(response.text) songs = data.get('result', {}).get('songs', []) all_songs.extend(songs) params['offset'] += params['limit'] if len(songs) == 0: # 如果没有更多数据 break return all_songs[:2000] ``` #### 5. 数据存储 将获取到的歌曲数据保存到本地文件中。 ```python def save_data(data, filename='songs.json'): with open(filename, 'w', encoding='utf-8') as f: json.dump(data, f, ensure_ascii=False, indent=4) ``` #### 6. 主函数 整合以上功能，编写主函数完成整个流程。 ```python if __name__ == '__main__': api_url = 'https://music.163.com/api/v3/discovery/toplist' # 示例API地址，请根据实际情况调整 songs = fetch_api_data(api_url) save_data(songs) print(f"已成功获取 {len(songs)} 首歌曲数据并保存到本地。") ``` --- ### 注意事项 1. **反爬机制**：网易云音乐可能对频繁请求进行限制，建议设置合理的请求间隔时间，避免触发反爬机制[^2]。 2. **合法性**：确保遵守相关网站的使用条款和法律法规，不要用于非法用途[^1]。 3. **动态数据**：如果目标数据依赖于 JavaScript 加载，优先考虑 API 接口方式，若不可行再使用 `selenium`[^3]。