### 使用Python编写网络爬虫抓取Keep网站月卡套餐及其价格信息 为了实现这一目标，可以采用分阶段的方法来构建高效的爬虫程序。首先，需要获取页面中所有包含月卡套餐详情链接的URL并将其存储至CSV文件中[^1]。 ```python import requests from bs4 import BeautifulSoup import pandas as pd def get_package_urls(base_url, pages=1): urls = [] for page in range(1, pages + 1): response = requests.get(f"{base_url}?page={page}") soup = BeautifulSoup(response.text, 'html.parser') # 假设每个商品项在一个特定类名下 items = soup.find_all('div', class_='package-item') for item in items: link = item.find('a')['href'] full_link = f"https://www.keep.com{link}" urls.append(full_link) df = pd.DataFrame(urls, columns=['url']) df.to_csv('keep_monthly_packages.csv', index=False) get_package_urls('https://www.keep.com/packages/monthly', pages=5) ``` 接着，在完成上述操作之后，可以从之前创建好的CSV文件里读取出这些URL，并针对每一个单独的商品页面发起HTTP请求以提取具体的价格和其他所需的信息。 ```python df = pd.read_csv('keep_monthly_packages.csv') data_list = [] for _, row in df.iterrows(): package_page_response = requests.get(row['url']) package_soup = BeautifulSoup(package_page_response.text, 'html.parser') price_element = package_soup.select_one('.price-tag').text.strip() title_element = package_soup.select_one('.title').text.strip() data_dict = { "Title": title_element, "Price": price_element, "Url": row['url'], } data_list.append(data_dict) final_df = pd.DataFrame(data_list) final_df.to_excel('monthly_packages_prices.xlsx', index=False) ``` 考虑到提高效率的需求，建议利用多线程或多进程技术或是异步编程模型来进行并发处理，从而加速整个过程。 对于大规模的数据采集工作来说，还可以考虑使用Scrapy框架或者其他专门设计用于Web Scraping的任务队列工具如Celery配合Redis等中间件服务一起部署实施更复杂的分布式爬虫架构方案。