要定期爬取豆瓣上的书单和电影榜单，你需要使用Python的网络爬虫库如`requests`来发送HTTP请求获取数据，以及`BeautifulSoup`或`lxml`来解析HTML。以下是一个简单的示例，展示了如何使用`Selenium`（用于模拟浏览器行为）配合`pandas`来抓取并存储数据，因为豆瓣通常有反爬虫策略，直接用普通的HTTP请求可能会被限制。 ```python from selenium import webdriver import time import pandas as pd # 注意：你需要先安装selenium 和对应浏览器的webdriver，比如ChromeDriver # 另外，豆瓣可能有反爬机制，请确保遵守其使用协议 def get_douban_list(type_): url = "https://movie.douban.com/top250" if type_ == 'movies' else "https://book.douban.com/toplist" # 使用Selenium启动浏览器并加载网页 driver = webdriver.Chrome() # 如果你使用的是Chrome, 需要替换为对应的驱动 driver.get(url) # 等待页面加载完成 time.sleep(5) # 延迟是为了让页面完全加载，具体时间可能需要根据实际情况调整 # 获取网页源代码，然后进行解析 html = driver.page_source soup = BeautifulSoup(html, 'html.parser') # 找到包含数据的部分 items = soup.find_all('div', class_='item') data = [] for item in items: title = item.find('span', class_='title').text rating = float(item.find('span', class_='rating_num').text) link = item.find('a')['href'] # 创建一个字典存储信息 data.append({'title': title, 'rating': rating, 'link': link}) # 关闭浏览器 driver.quit() # 将数据转换成DataFrame并保存 df = pd.DataFrame(data) df.to_csv(f'douban_{type_}_list.csv', index=False) return df # 定期爬取（这里只是一个基本的示例，实际应用可能需要定时器） if __name__ == '__main__': movie_df = get_douban_list('movies') book_df = get_douban_list('books') # 你可以在这里设置一个循环来定期执行这个过程，例如每隔一天 # 比如使用schedule库：schedule.every(1).days.do(get_douban_list, 'movies') ```