### Python中分块处理与页码索引的解决方案 在Python中，可以通过生成器（generator）实现对大数据集的分块处理（chunk processing），从而避免内存不足的问题[^1]。此外，结合页码（page_numbers）列表和索引 `i`，可以实现更灵活的数据处理逻辑。 以下是一个示例代码，展示如何结合分块读取文件和页码索引进行处理： ```python def chunked_reader(file_path, chunk_size=1024): """分块读取文件""" with open(file_path, 'rb') as f: while True: chunk = f.read(chunk_size) if not chunk: break yield chunk # 假设有一个页码列表 page_numbers = [1, 2, 3, 4, 5] # 结合页码索引 i 进行分块处理 for i, chunk in enumerate(chunked_reader('large_video.mp4', 65536)): # 检查页码索引是否超出范围 if i < len(page_numbers): process_chunk(chunk, page_numbers[i]) # 假设 process_chunk 是处理函数，并传递页码 else: process_chunk(chunk) # 如果没有对应的页码，仅处理分块数据 ``` 上述代码通过 `enumerate` 函数为每个分块分配一个索引值 `i`，并将其与页码列表 `page_numbers` 中的元素关联。如果页码列表长度不足以覆盖所有分块，则默认仅处理分块数据[^1]。 对于PDF文档的结构化分割，可以参考以下代码示例，结合页码信息进行逻辑拆分[^3]： ```python import fitz # PyMuPDF def split_pdf_by_structure(pdf_path): """根据PDF文档的逻辑结构进行拆分，并返回页码信息""" doc = fitz.open(pdf_path) sections = [] toc = doc.get_toc() # 获取目录结构 if toc: # 使用目录进行结构化拆分 for i, (level, title, page) in enumerate(toc): next_page = toc[i + 1][2] if i < len(toc) - 1 else len(doc) section = { "title": title, "start_page": page - 1, # 转换为0索引 "end_page": next_page - 1, "level": level } sections.append(section) else: # 回退到页面级拆分 for i in range(len(doc)): sections.append({ "title": f"Page {i + 1}", "start_page": i, "end_page": i, "level": 1 }) return sections, doc # 示例调用 sections, doc = split_pdf_by_structure("example.pdf") for section in sections: print(f"Section Title: {section['title']}, Pages: {section['start_page']} - {section['end_page']}") ``` 上述代码通过PyMuPDF库获取PDF文档的目录结构，并将其转换为分段信息。每个分段包含标题、起始页码和结束页码等信息[^3]。 ### 注意事项 - 在分块处理时，确保 `chunk_size` 参数设置合理，以平衡性能和内存使用。 - 对于PDF文档的分割，优先使用目录结构进行逻辑拆分，若无目录则回退到逐页拆分。 - 在处理过程中，需注意索引越界问题，确保代码的健壮性。