### 使用Python按条件拆分CSV文件 为了实现根据特定条件将一个较大的CSV文件拆分成多个较小的文件，可以利用 `pandas` 库来读取和处理数据。以下是详细的解决方案： #### 方法概述 通过定义一组逻辑条件（例如列值范围或其他标准），筛选出符合条件的数据子集，并将其保存到不同的CSV文件中。 --- #### 实现代码示例 以下是一个完整的代码片段，展示如何基于某一列的不同唯一值或数值区间对CSV文件进行拆分[^1]。 ```python import pandas as pd def split_csv_by_condition(input_file, output_prefix, condition_column=None, chunk_size=100): """ 根据指定条件拆分CSV文件。 参数: input_file (str): 输入的大CSV文件路径。 output_prefix (str): 输出的小文件名前缀。 condition_column (str): 条件列名称，默认为None表示按固定行数分割。 chunk_size (int): 如果不提供condition_column，则按照chunk_size大小分割。 """ try: # 逐块读取大文件以节省内存 reader = pd.read_csv(input_file, chunksize=chunk_size) file_count = 1 for chunk in reader: if condition_column is not None and condition_column in chunk.columns: unique_values = chunk[condition_column].unique() for value in unique_values: filtered_data = chunk[chunk[condition_column] == value] if not filtered_data.empty: output_filename = f"{output_prefix}_{value}.csv" filtered_data.to_csv(output_filename, index=False) else: output_filename = f"{output_prefix}_part_{file_count}.csv" chunk.to_csv(output_filename, index=False) file_count += 1 except Exception as e: print(f"发生错误: {e}") # 调用函数 split_csv_by_condition('large_file.csv', 'output_part', condition_column='Category') ``` --- #### 关键点解释 1. **参数说明** - `input_file`: 原始大型CSV文件的位置。 - `output_prefix`: 小型CSV文件命名的基础部分。 - `condition_column`: 需要依据其不同值创建新文件的列名。如果未设置此参数，则会简单地按固定数量的行分割文件[^1]。 - `chunk_size`: 当无具体条件时使用的每片文件的最大记录数目。 2. **性能优化** 利用了Pandas中的`read_csv()`方法配合`chunksize`选项逐步加载大数据集，从而减少一次性载入整个文件所需的内存占用量[^1]。 3. **异常捕获** 添加了基本的异常捕捉机制以便于调试过程中定位潜在问题所在位置。 --- #### 注意事项 - 确保已安装必要的依赖项：`pip install pandas openpyxl xlsxwriter` - 对于非常庞大的数据集，考虑增加服务器硬件资源或者采用分布式计算框架如Dask替代传统Pandas操作[^1]。 ---