### 使用 Python 进行网页数据爬取并导出为 Excel 文件 #### 数据爬取部分 为了实现从网页中提取分页数据的功能，可以使用 `requests` 和 `BeautifulSoup` 库来获取和解析 HTML 页面的内容。以下是基于分页 URL 的数据抓取函数： ```python import requests from bs4 import BeautifulSoup def get_page_data(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 假设每一页的数据存储在一个特定的标签中，比如 <div class="data-item"> data_items = [] items = soup.find_all('div', class_='data-item') # 替换为目标页面的实际结构 for item in items: title = item.find('h2').text.strip() if item.find('h2') else '' description = item.find('p').text.strip() if item.find('p') else '' data_items.append({'title': title, 'description': description}) return data_items def scrape_paginated_data(base_url, num_pages): all_data = [] for page in range(1, num_pages + 1): url = f"{base_url}?page={page}" # 构造分页 URL page_data = get_page_data(url) all_data.extend(page_data) return all_data ``` 此代码通过循环遍历多个分页链接，并调用 `get_page_data()` 函数逐页提取所需的信息[^1]。 --- #### 导出至 Excel 部分 要将爬取到的数据保存为 Excel 文件，可借助 `openpyxl` 或 `pandas` 库完成操作。下面是一个完整的例子，展示如何将数据写入 Excel 表格： ```python import pandas as pd def export_to_excel(data, filename='output.xlsx'): df = pd.DataFrame(data) # 转换为 DataFrame 格式 writer = pd.ExcelWriter(filename, engine='xlsxwriter') # 创建 Excel 写入器 df.to_excel(writer, index=False, sheet_name='Sheet1') # 将数据写入工作表 writer.save() print(f"Data has been exported to {filename}") ``` 在此过程中，`pandas` 提供了一个简单的方法用于处理表格型数据并将它们转换成 Excel 文件[^2]。 --- #### 完整流程示例 以下是从指定基础 URL 开始爬取多页数据，并最终将其保存为名为 `scraped_data.xlsx` 的 Excel 文件的一个完整脚本实例： ```python if __name__ == "__main__": base_url = "http://example.com/data" num_pages = 5 # 设定需要爬取的总页数 scraped_data = scrape_paginated_data(base_url, num_pages) export_to_excel(scraped_data, 'scraped_data.xlsx') ``` 运行该程序后，会自动生成一个包含所有收集信息的工作簿文件[^1]^. --- #### 注意事项 - **合法性与道德规范**：在执行任何网络爬虫项目之前，请务必确认目标网站允许此类活动，并遵守其 robots.txt 文件中的规定。 - **错误处理机制**：实际应用时建议加入异常捕获逻辑以应对可能发生的连接失败等问题。 - **性能优化考量**：对于大规模数据集或者高频率请求场景下，考虑采用异步方式提高效率以及设置合理的延时避免给服务器带来过大压力。 ---