### K折交叉验证中选择最优超参数模型 在PyTorch中实现K折交叉验证时，为了选择具有最优超参数的模型以应用于验证集，通常遵循以下原则： #### 数据划分与训练流程 K折交叉验证的核心在于将整个数据集划分为K个子集（fold）。每次选取其中一个子集作为验证集，其余部分作为训练集。这一过程重复K次，确保每个子集都充当一次验证集[^2]。 #### 超参数的选择依据 对于每一种超参数组合，在K折交叉验证的过程中都会得到K个不同的模型以及相应的验证指标（如准确率、F1分数等）。这些指标反映了当前超参数组合下模型的表现情况。具体来说： - **平均表现**：针对某一特定超参数配置，取其在所有折叠上的验证指标均值作为该配置的整体评价标准[^3]。 - 如果某个超参数组合对应较高的平均性能，则认为这是更优的一组候选者。 #### 最终模型的确立方式 当完成全部网格搜索或随机搜索之后，确定下来的最佳超参数并不意味着直接选用某单一折产生的模型实例；而是应该重新基于完整的训练数据集（不包括独立测试集），利用所找到的理想超参数再次执行完整的学习过程来构建最终版本的模型[^5]。 以下是简单的伪代码展示如何实施上述逻辑： ```python import torch from sklearn.model_selection import KFold def train_and_evaluate(model, criterion, optimizer, dataloader_train, dataloader_val): model.train() total_loss = 0. for inputs, labels in dataloader_train: outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() # 清除之前的梯度信息 [^1] loss.backward() optimizer.step() with torch.no_grad(): val_accuracy = evaluate_on_validation_set(model, dataloader_val) return val_accuracy kf = KFold(n_splits=k_folds) best_hyperparams = None best_avg_score = float('-inf') for hyperparam_config in all_hyperparameter_configs: scores = [] for fold_idx, (train_indices, val_indices) in enumerate(kf.split(dataset)): dataset_train = Subset(dataset, train_indices) dataset_val = Subset(dataset, val_indices) loader_train = DataLoader(dataset_train, batch_size=batch_size) loader_val = DataLoader(dataset_val, batch_size=batch_size) current_model = initialize_model_with(hyperparam_config) score = train_and_evaluate(current_model, ..., loader_train, loader_val) scores.append(score) avg_score_for_this_hp = sum(scores)/len(scores) if avg_score_for_this_hp > best_avg_score: best_hyperparams = hyperparam_config best_avg_score = avg_score_for_this_hp final_model = retrain_full_dataset(best_hyperparams) ```