### PH2数据集划分的Python实现方案 在机器学习和计算机视觉项目中，数据集划分是模型训练的关键步骤。针对PH2数据集的划分需求，我将提供一个完整的Python实现方案，涵盖数据加载、预处理、划分策略及代码实现。 #### 1. 数据准备与理解 首先需要了解PH2数据集的基本特性。PH2是一个皮肤镜图像数据集，主要用于黑色素瘤检测研究，通常包含图像文件、标注信息和元数据。在进行划分前，需要： - 确认数据集结构（图像格式、存储路径） - 了解样本数量和类别分布 - 确定是否需要预处理步骤 ```python import os import numpy as np from sklearn.model_selection import train_test_split import shutil # 数据集路径配置 dataset_path = "PH2_dataset" # 替换为实际路径 images_dir = os.path.join(dataset_path, "images") labels_dir = os.path.join(dataset_path, "labels") ``` #### 2. 数据集划分策略 考虑到PH2数据集通常规模有限，推荐采用以下划分比例： | 数据子集 | 比例 | 说明 | |---------|------|------| | 训练集 | 70% | 用于模型参数学习 | | 验证集 | 15% | 用于超参数调优和模型选择 | | 测试集 | 15% | 用于最终性能评估 | 这种划分在保证训练数据充足的同时，为模型验证和测试提供了足够的样本[ref_4]。 #### 3. 完整代码实现 ```python def split_ph2_dataset(dataset_path, output_path, train_ratio=0.7, val_ratio=0.15, test_ratio=0.15): """ 划分PH2数据集 参数: dataset_path: 原始数据集路径 output_path: 划分后输出路径 train_ratio: 训练集比例 val_ratio: 验证集比例 test_ratio: 测试集比例 """ # 验证比例总和为1 assert abs(train_ratio + val_ratio + test_ratio - 1.0) < 1e-6, "比例总和必须为1" # 创建输出目录 splits = ['train', 'val', 'test'] for split in splits: os.makedirs(os.path.join(output_path, split, 'images'), exist_ok=True) os.makedirs(os.path.join(output_path, split, 'labels'), exist_ok=True) # 获取所有图像文件 image_files = [f for f in os.listdir(os.path.join(dataset_path, 'images')) if f.endswith(('.jpg', '.png', '.bmp'))] # 随机打乱文件顺序 np.random.seed(42) # 设置随机种子保证可重复性 np.random.shuffle(image_files) # 计算各集合样本数量 total_samples = len(image_files) train_count = int(total_samples * train_ratio) val_count = int(total_samples * val_ratio) # 划分文件列表 train_files = image_files[:train_count] val_files = image_files[train_count:train_count + val_count] test_files = image_files[train_count + val_count:] print(f"数据集统计:") print(f"总样本数: {total_samples}") print(f"训练集: {len(train_files)} 个样本") print(f"验证集: {len(val_files)} 个样本") print(f"测试集: {len(test_files)} 个样本") # 复制文件到相应目录 def copy_files(file_list, split_name): for file in file_list: # 复制图像文件 src_img = os.path.join(dataset_path, 'images', file) dst_img = os.path.join(output_path, split_name, 'images', file) shutil.copy2(src_img, dst_img) # 复制对应的标注文件（假设标注文件与图像同名，扩展名不同） label_name = os.path.splitext(file)[0] + '.txt' src_label = os.path.join(dataset_path, 'labels', label_name) dst_label = os.path.join(output_path, split_name, 'labels', label_name) if os.path.exists(src_label): shutil.copy2(src_label, dst_label) # 执行文件复制 copy_files(train_files, 'train') copy_files(val_files, 'val') copy_files(test_files, 'test') return train_files, val_files, test_files # 使用示例 if __name__ == "__main__": # 设置路径 dataset_path = "path/to/PH2_dataset" # 替换为实际路径 output_path = "path/to/PH2_split" # 输出路径 # 执行数据集划分 train_files, val_files, test_files = split_ph2_dataset( dataset_path=dataset_path, output_path=output_path, train_ratio=0.7, val_ratio=0.15, test_ratio=0.15 ) ``` #### 4. 分层抽样实现 对于类别不平衡的数据集，推荐使用分层抽样确保各类别在各子集中的比例一致： ```python from sklearn.model_selection import train_test_split import pandas as pd def stratified_split_ph2(dataset_path, output_path): """ 分层抽样划分PH2数据集 """ # 假设我们有包含图像路径和标签的DataFrame data = [] for image_file in os.listdir(os.path.join(dataset_path, 'images')): if image_file.endswith(('.jpg', '.png')): # 这里需要根据实际情况获取标签 label = get_label_from_image(image_file) # 需要实现此函数 data.append({'image': image_file, 'label': label}) df = pd.DataFrame(data) # 第一次划分：分离测试集 train_val_df, test_df = train_test_split( df, test_size=0.15, stratify=df['label'], random_state=42 ) # 第二次划分：分离训练集和验证集 train_df, val_df = train_test_split( train_val_df, test_size=0.176, stratify=train_val_df['label'], random_state=42 ) # 0.176 ≈ 0.15 / 0.85 print("分层抽样结果:") print(f"训练集类别分布:\n{train_df['label'].value_counts()}") print(f"验证集类别分布:\n{val_df['label'].value_counts()}") print(f"测试集类别分布:\n{test_df['label'].value_counts()}") return train_df, val_df, test_df ``` #### 5. 实际应用考虑 在实现PH2数据集划分时，还需要考虑以下重要因素： 1. **数据泄露预防**：确保同一患者的不同图像不会同时出现在训练集和测试集中 2. **数据增强**：对于医学图像数据集，可在训练阶段应用适当的数据增强技术 3. **交叉验证**：对于小规模数据集，建议使用k折交叉验证以获得更稳定的性能评估 ```python from sklearn.model_selection import StratifiedKFold def cross_validation_split(df, n_splits=5): """ 实现分层k折交叉验证 """ skf = StratifiedKFold(n_splits=n_splits, shuffle=True, random_state=42) folds = [] for train_idx, val_idx in skf.split(df['image'], df['label']): train_fold = df.iloc[train_idx] val_fold = df.iloc[val_idx] folds.append((train_fold, val_fold)) return folds ``` #### 6. 扩展功能 对于更复杂的应用场景，可以扩展代码以支持： - 多种图像格式处理 - 元数据保留 - 划分结果的可视化 - 数据集统计报告生成 这个完整的PH2数据集划分方案提供了灵活的比例配置、分层抽样支持以及交叉验证选项，能够满足大多数机器学习项目的数据准备需求。通过合理的划分策略，可以确保模型训练的有效性和评估的可靠性[ref_4]。