### 问题核心：手动实现数据集划分函数 您的问题核心是希望在不依赖第三方库（如`sklearn`）的情况下，编写一个纯Python函数来将数据集（以JSON格式存储）划分为训练集和验证集。这通常涉及加载数据、随机打乱数据、按比例划分以及保存结果。 ### 方案推演 我们将通过以下步骤手动构建一个数据集划分器： 1. **加载数据**：从JSON文件读取数据集。 2. **数据打乱**：为消除原始数据顺序带来的偏差，需对数据进行随机排序。 3. **比例划分**：根据预设的训练集比例（如80%），计算两个子集的起始与结束索引。 4. **数据切分**：使用索引将完整列表切片为`train_set`和`val_set`。 5. **函数封装**：将上述逻辑封装成函数，使其可灵活调整数据集、划分比例和随机种子。 ### 具体实现方案 以下是一个详细的手动数据集划分函数实现，包含必要的注释。 ```python import json import random def split_train_val_dataset(json_file_path, train_ratio=0.8, val_ratio=None, shuffle=True, random_seed=42): """ 手动划分数据集为训练集和验证集。 参数: json_file_path (str): 包含数据的JSON文件路径。文件应是一个列表。 train_ratio (float): 训练集所占比例，默认为0.8 (80%)。 val_ratio (float | None): 验证集所占比例。如果为None，则验证集比例 = 1 - train_ratio。 shuffle (bool): 是否在划分前打乱数据顺序，默认为True。 random_seed (int): 随机种子，确保结果可复现。 返回: tuple: (train_data, validation_data) 两个列表。 """ # 步骤1：加载数据 try: with open(json_file_path, 'r', encoding='utf-8') as f: all_data = json.load(f) if not isinstance(all_data, list): raise TypeError("JSON文件内容应为一个列表。") except FileNotFoundError: print(f"错误：找不到文件 '{json_file_path}'") return [], [] except json.JSONDecodeError: print(f"错误：文件 '{json_file_path}' 不是有效的JSON格式。") return [], [] # 步骤2：设置随机种子以确保结果可复现 [ref_1][ref_5] random.seed(random_seed) # 步骤3：数据打乱 data_copy = all_data.copy() # 避免修改原始数据 if shuffle: random.shuffle(data_copy) # 如果数据集很大，更节省内存的打乱方式是对索引进行打乱 [ref_3] # shuffled_indices = list(range(len(data_copy))) # random.shuffle(shuffled_indices) # data_copy = [data_copy[i] for i in shuffled_indices] # 步骤4：计算划分索引 total_size = len(data_copy) train_size = int(total_size * train_ratio) if val_ratio is None: val_size = total_size - train_size else: val_size = int(total_size * val_ratio) # 确保训练集和验证集之和不超过总数据量 train_size = min(train_size, total_size - val_size) # 步骤5：进行划分 train_data = data_copy[:train_size] validation_data = data_copy[train_size:train_size + val_size] # 可选：输出划分信息 print(f"数据集总量：{total_size}") print(f"训练集大小：{len(train_data)}， 占总数据比例：{len(train_data)/total_size:.2%}") print(f"验证集大小：{len(validation_data)}， 占总数据比例：{len(validation_data)/total_size:.2%}") return train_data, validation_data # 使用示例和代码验证 if __name__ == "__main__": # 假设您有一个名为 `my_dataset.json` 的文件 # 首先，我们创建一个模拟的JSON数据文件来测试 sample_data = [ {"id": i, "text": f"这是一个文本样本 {i}", "label": i % 2} for i in range(100) # 创建100条数据 ] test_json_path = "my_dataset.json" with open(test_json_path, 'w', encoding='utf-8') as f: json.dump(sample_data, f, ensure_ascii=False, indent=2) print(f"已创建测试文件: {test_json_path}") # 调用划分函数 train_set, val_set = split_train_val_dataset( json_file_path=test_json_path, train_ratio=0.7, # 70% 作为训练集 shuffle=True, random_seed=2024 ) # 验证划分结果 print(f"\n--- 划分结果验证 ---") print(f"训练集前3条数据: {train_set[:3]}") print(f"验证集前3条数据: {val_set[:3]}") print(f"验证集大小符合预期: {len(val_set) == 30} (预期: 100 * 0.3 = 30)") ``` #### **关键要点解释与最佳实践** | 要点 | 说明 | | :--- | :--- | | **数据加载与检查** | 使用 `json.load` 读取文件，并进行类型检查。这是确保函数健壮性的第一步。[ref_1][ref_3] | | **随机化的重要性** | 在划分前打乱数据至关重要，它能防止因数据原始排序（如按类别或时间）而引入的系统性偏差，确保两个子集都独立同分布地代表了原始数据。[ref_2][ref_5] | | **随机种子 (seed)** | 设置 `random_seed` 参数能确保每次用相同的种子运行函数时，划分结果完全相同。这对实验的可复现性至关重要。[ref_3][ref_5] | | **比例计算** | 核心是使用 `int(total_size * ratio)` 计算索引。注意处理小数和边界情况，确保数据不丢失。 | | **泛化与灵活设计** | 函数允许自定义 `train_ratio` 和 `val_ratio`。当 `val_ratio` 为 `None` 时，验证集将使用剩余的全部数据；当指定时，两者之和可以小于1，剩余数据可以被忽略。这提供了灵活性。[ref_5] | | **效率考虑** | 对于非常大的数据集，直接在原列表上使用 `random.shuffle` 会影响内存。优化的做法是打乱索引列表，然后按索引提取数据，如代码注释所示。[ref_3] | #### **应用场景示例** 假设您有一个用于对话微调的JSON数据集，每条数据格式如下： ```json [ {"instruction": "写一首关于春天的诗", "output": "春风拂面百花开..."}, {"instruction": "翻译成英文：你好吗？", "output": "How are you?"} ] ``` 使用上述函数，您可以轻松获得70%的训练数据和30%的验证数据，用于监督微调（SFT）。验证集用于在训练过程中监控模型在未见数据上的表现，防止过拟合[ref_2][ref_6]。在每次训练轮次（epoch）结束时，计算验证集上的损失，可以帮助您决定是否提前停止训练或调整超参数[ref_4]。这种方式是Transformer库的`Trainer`等训练框架所期望的数据组织方式。 通过这个手动的划分函数，您无需安装额外的机器学习库，即可完成数据处理流程的关键一步，并确保结果的可靠性和可复现性。