### 三、使用日志记录已处理行号 在文件处理过程中，若需避免重复处理某些行，可以通过日志记录机制来跟踪已经处理过的行号。Python 的 `logging` 模块可以用于记录每一步操作的详细信息，包括当前处理的行号[^4]。这种方式不仅便于调试，还能确保程序运行时具备良好的可追溯性。 例如，在逐行读取并处理一个文本文件时，可以在每次处理完一行后将该行号记录到日志中： ```python import logging # 配置日志记录 logging.basicConfig(filename='processed_lines.log', level=logging.INFO, format='%(asctime)s - %(message)s') with open('data.txt', 'r') as file: for line_number, line in enumerate(file, start=1): # 模拟处理逻辑 logging.info(f"Processed line {line_number}: {line.strip()}") ``` 此方法适用于需要长期运行或频繁执行的数据处理任务，能够有效防止重复操作，并提供清晰的执行轨迹。 ### 三、利用集合存储已处理行号 另一种常见的做法是使用 Python 中的 `set` 数据结构来保存已经处理过的行号。集合具有快速查找的能力，适合用于判断某行是否已被处理过： ```python processed_lines = set() with open('data.txt', 'r') as file: for line_number, line in enumerate(file, start=1): if line_number not in processed_lines: # 执行处理逻辑 print(f"Processing line {line_number}: {line.strip()}") processed_lines.add(line_number) ``` 通过维护一个行号集合，可以确保即使程序中断后重启，也能通过持久化手段（如将集合写入文件）恢复状态，从而继续从中断点开始处理。 ### 三、结合外部文件记录处理进度 为增强容错能力，可以将已处理的行号写入外部文件中，以便下次启动时加载这些信息： ```python import os PROCESSED_FILE = 'processed_lines.txt' # 加载已处理的行号 if os.path.exists(PROCESSED_FILE): with open(PROCESSED_FILE, 'r') as f: processed_lines = set(map(int, f.read().splitlines())) else: processed_lines = set() with open('data.txt', 'r') as file: for line_number, line in enumerate(file, start=1): if line_number not in processed_lines: # 实际处理逻辑 print(f"Processing line {line_number}: {line.strip()}") processed_lines.add(line_number) # 将已处理行号保存至文件 with open(PROCESSED_FILE, 'w') as f: f.write('\n'.join(map(str, processed_lines))) ``` 此方式特别适用于大型文件处理场景，能够显著提升系统的健壮性和可靠性。 ---