### Python爬虫抓取多个网页数据并保存至Excel 为了实现这一需求，可以通过 `requests` 库获取网页内容，利用 `BeautifulSoup` 或其他解析库提取所需数据，并借助 `pandas` 将其写入 Excel 文件。以下是完整的解决方案： #### 实现方案说明 1. 使用 `requests` 发送 HTTP 请求以获取网页 HTML 内容。 2. 利用 `BeautifulSoup` 解析网页结构，定位目标数据位置。 3. 遍历多个网页链接，收集所有页面的数据。 4. 借助 `pandas.DataFrame` 构建数据表并将每页数据按指定间隔（此处为 200 行）插入到最终的 DataFrame 中。 5. 调用 `DataFrame.to_excel()` 方法将结果导出为 Excel 文件。 #### 示例代码 以下是一个通用框架，假设我们需要从多个 URL 抓取数据，并将其保存到同一个 Excel 文件中，同时满足每页间相隔 200 行的要求。 ```python import pandas as pd from bs4 import BeautifulSoup import requests def fetch_data_from_url(url): """从单个URL抓取数据""" response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 此处需根据实际HTML结构调整 items = [] for item in soup.find_all('div', class_='item'): # 替换为目标标签和属性 title = item.find('h2').text.strip() description = item.find('p').text.strip() items.append([title, description]) return items def save_to_excel(urls, output_file="output.xlsx"): """抓取多个网页数据并保存到Excel文件""" all_data = [] for i, url in enumerate(urls): page_data = fetch_data_from_url(url) # 添加空白行作为分隔符 blank_rows = [[""] * len(page_data[0])] * 200 if i != 0 else [] # 只有非第一页才加空白行 # 合并当前页数据与之前的结果 all_data.extend(blank_rows + page_data) df = pd.DataFrame(all_data, columns=["Title", "Description"]) # 自定义列名 df.to_excel(output_file, index=False) # 导出为Excel文件 if __name__ == "__main__": urls = [ "http://example.com/page1", "http://example.com/page2", "http://example.com/page3" ] save_to_excel(urls) ``` #### 关键点解释 - **请求发送**：通过 `requests.get()` 获取网页内容[^1]。 - **数据解析**：使用 `BeautifulSoup` 提取特定标签内的文本信息[^2]。 - **数据拼接**：在每次循环结束后向总数据列表追加 200 行空值，从而达到分隔效果[^3]。 - **Excel 存储**：调用 Pandas 的 `.to_excel()` 函数完成文件生成[^4]。 #### 注意事项 - 确保目标网站允许被爬取，遵循 robots.txt 协议。 - 如果遇到动态加载的内容，则需要引入 Selenium 来模拟浏览器行为。 - 对于大规模数据采集任务，建议加入异常处理机制以及合理的延时设置以免触发反爬措施。