### 可能的原因分析 在 PyTorch 中使用 ResNet50 进行迁移学习时，如果模型的准确率长期停留在某个固定值（如 74%），可能由以下几个原因引起： 1. **数据分布不均衡** 如果训练集中某些类别的样本数量远少于其他类别，则可能导致模型倾向于预测多数类别，从而影响整体准确性[^1]。 2. **学习率设置不当** 学习率过高可能会导致优化器无法收敛到最优解；而过低的学习率则会使梯度更新缓慢，甚至陷入局部极小值[^2]。 3. **特征提取层未充分微调** 在迁移学习中，默认冻结了预训练模型的部分权重。如果没有适当调整这些参数或者仅修改最后一层全连接层，那么新任务的数据特性可能未能被有效捕捉[^2]。 4. **正则化不足或过度** 正则化方法（如 Dropout 或 L2 范数惩罚）可以帮助防止过拟合，但如果强度不合适也可能抑制性能提升[^1]。 5. **批量大小不合理** 批量过大容易造成内存溢出并降低计算效率，同时也会让每次迭代后的梯度估计不够精确；反之，太小又会增加噪声干扰训练过程稳定性。 6. **损失函数选择错误** 对于多分类问题通常采用交叉熵作为目标函数，但在特定情况下需考虑加权版本或其他形式以应对不平衡标签情况下的挑战[^1]。 --- ### 解决方案建议 针对以上提到的各种可能性，以下是具体的改进措施： #### 方法一：重新审视数据集质量 - 检查是否存在严重的类别失衡现象，并通过采样平衡策略加以改善； - 增强数据扩增手段（rotation, flip etc.) 来扩充有限资源下可用实例数目。 ```python import torchvision.transforms as transforms transform = transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomRotation(10), transforms.ToTensor() ]) ``` #### 方法二：动态调整学习速率 - 使用余弦退火调度器(cosine annealing scheduler) 自动调节每轮次结束之后的新一轮初始步长； - 尝试引入 warm-up 阶段逐步增大前期几步中的步伐长度以便更好地探索空间结构特点[^2]。 ```python from torch.optim.lr_scheduler import CosineAnnealingLR scheduler = CosineAnnealingLR(optimizer, T_max=epochs) for epoch in range(epochs): train(...) validate(...) scheduler.step() ``` #### 方法三：全面解锁网络参数允许进一步精细化适配 - 解冻更多基础卷积模块内的节点使其参与到当前具体应用场景里的再学习当中去； - 设置较低的基础学习比率专门用于这部分新增自由变量之上以免破坏原有良好初始化状态。 ```python for param in model.parameters(): param.requires_grad = True optimizer = optim.Adam([ {'params':model.fc.parameters(), 'lr': lr}, {'params':list(model.children())[:-1], 'lr': lr/10} ], weight_decay=weight_decay) ``` #### 方法四：合理配置正则项力度控制泛化能力边界 - 根据实际需求灵活设定 dropout 层概率以及施加重力约束系数数值范围； - 结合早停机制(Early Stopping)，当验证集合表现不再持续进步时及时终止训练以防过分依赖已有信息源而导致欠佳推广效果. ```python class Net(nn.Module): def __init__(self): super().__init__() ... self.dropout = nn.Dropout(p=dropout_rate) def early_stopping(val_loss_list, patience=5): if len(val_loss_list)>patience and val_loss_list[-1]>min(val_loss_list[:-patience]): return True return False ``` #### 方法五：优选适合的任务导向型代价衡量标准 - 当面临非均匀分配的目标标记体系之时，应当优先选用具备自适应特性的复合型评价指标比如 focal loss 等替代传统单一模式下的评判依据。 ```python import torch.nn.functional as F gamma = 2. alpha = 0.25 criterion = lambda pred,targ: -(alpha*(1-pred)**gamma*targ.log()+(1-alpha)*pred**gamma*(1-targ).log()).mean() loss = criterion(output,target) ``` --- ###