### 编写 Python 爬虫批量抓取网页并分类保存到 Excel 文件 为了实现根据变量定义的区间批量抓取网页内容，并按照类别保存至 Excel 文件的功能，可以采用如下方法： #### 准备工作 首先安装所需的库 `requests` 和 `pandas` 以及解析 HTML 的工具 BeautifulSoup。 ```bash pip install requests pandas beautifulsoup4 openpyxl ``` #### 定义函数以获取页面内容 创建一个函数来发起 HTTP 请求并返回响应的内容。这一步骤基于已有的实践案例[^2]。 ```python import requests from bs4 import BeautifulSoup def fetch_page_content(url): try: response = requests.get(url) response.raise_for_status() # 检查请求状态码 soup = BeautifulSoup(response.text, 'html.parser') return soup.prettify() except Exception as e: print(f"Error fetching {url}: {e}") return None ``` #### 创建循环结构遍历 URL 列表 假设有一个包含多个 URL 的列表，这些 URL 可能由某个范围内的参数构成。这里构建了一个简单的例子，其中 URLs 是静态定义好的；实际应用中可以根据具体需求动态生成此列表。 ```python base_url = "http://example.com/page={}" urls_to_scrape = [base_url.format(i) for i in range(1, 6)] # 假设我们要抓取第一页到第五页的数据 ``` #### 数据存储逻辑设计 考虑到最终目标是要把不同类别的数据分别存入不同的表格内，在 Pandas DataFrame 中预先设定好相应的列名作为区分依据。 ```python import pandas as pd dataframes_dict = {} # 存储各个类别的DataFrame对象 for url in urls_to_scrapes: page_content = fetch_page_content(url) if not page_content: continue # 这里简化处理方式，实际上应该更复杂地解析HTML内容并提取所需字段 category_name = extract_category_from_html(page_content) # 自定义函数用于从HTML中抽取类别名称 data_entry = {"Category": [category_name], "Content": [page_content[:50]]} # 提取前50字符作为示例显示 df = pd.DataFrame(data_entry) if category_name in dataframes_dict: dataframes_dict[category_name] = pd.concat([dataframes_dict[category_name], df]) else: dataframes_dict[category_name] = df ``` 注意上述代码中的 `extract_category_from_html()` 方法需自行实现，用来识别每条记录所属的具体类别。 #### 将所有收集到的信息导出为单个工作簿下的多张工作表形式 最后利用 Pandas 库提供的功能一次性写出整个字典里的 DataFrames 至同一个 Excel 文件的不同 Sheet 页面上。 ```python with pd.ExcelWriter('output.xlsx', engine='openpyxl') as writer: for cat, frame in dataframes_dict.items(): sheetname = f"{cat[:31]}" # Excel 工作表名字长度限制为31个字符以内 frame.to_excel(writer, index=False, sheet_name=sheetname) print("Data has been successfully written to output.xlsx.") ``` 这段脚本展示了如何通过编程手段自动化完成一系列任务——即访问指定网站、读取其公开发布的资源、整理所得资料再妥善安置于电子表格之中。当然这只是基础框架，针对特定项目可能还需要做更多定制化调整。