### PyTorch 编码问题及其解决方案 在处理 PyTorch 中的编码问题时，常见的挑战涉及数据预处理、张量操作以及模型训练过程中的各种细节。以下是针对这些方面的一些具体建议： #### 数据集准备与加载 为了确保输入到模型的数据格式正确无误，在构建自定义 `Dataset` 类时需特别注意如何实现 `__getitem__()` 方法来返回样本和标签。对于图像数据而言，通常会利用 torchvision 提供的功能来进行标准化变换。 ```python from torch.utils.data import Dataset, DataLoader import torchvision.transforms as transforms class CustomImageDataset(Dataset): def __init__(self, img_paths, labels=None, transform=None): self.img_paths = img_paths self.labels = labels self.transform = transform def __len__(self): return len(self.img_paths) def __getitem__(self, idx): image_path = self.img_paths[idx] image = Image.open(image_path).convert('RGB') if self.transform is not None: image = self.transform(image) sample = {'image': image} if self.labels is not None: label = self.labels[idx] sample['label'] = label return sample transform_pipeline = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), ]) dataset = CustomImageDataset(img_paths=image_files, labels=labels, transform=transform_pipeline) dataloader = DataLoader(dataset, batch_size=32, shuffle=True) ``` #### 处理不平衡类别分布 当面对严重倾斜的目标变量比例情况时，可以考虑采用加权交叉熵损失函数或者引入过采样/欠采样的技术调整各类别的权重[^1]。 ```python import numpy as np import torch.nn.functional as F def weighted_cross_entropy_loss(output, target, weights): log_softmax_output = F.log_softmax(output, dim=-1) loss = (-target * log_softmax_output).sum(dim=-1) * weights.unsqueeze(-1) return loss.mean() weights = compute_class_weights(labels) # 自定义计算方法获取每种类别对应的权重向量 loss_fn = lambda out, tgt: weighted_cross_entropy_loss(out, tgt, weights=torch.tensor(weights)) ``` #### 解决 CUDA OOM 错误 如果遇到显存不足的问题，则可以从以下几个角度出发寻找优化方案：减小批量大小；降低模型复杂度；启用梯度累积机制；使用混合精度训练等措施缓解内存压力。 ```python device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) optimizer.zero_grad() for i, data in enumerate(dataloader): inputs, targets = data['image'].to(device), data['label'].to(device) outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() optimizer.zero_grad(set_to_none=True) # 清除已释放参数的空间占用 ``` #### 序列化保存最佳模型状态字典 为了避免因意外中断而导致前功尽弃的情况发生，可以在验证阶段记录下最优性能指标对应的那个 epoch 的模型参数并将其持久化存储起来以便后续恢复继续调优工作。 ```python best_val_acc = float('-inf') checkpoint_dir = './checkpoints' os.makedirs(checkpoint_dir, exist_ok=True) for epoch in range(num_epochs): ... val_accuracy = evaluate(model, valid_loader) if val_accuracy > best_val_acc: best_val_acc = val_accuracy checkpoint_file = os.path.join(checkpoint_dir, f'model_best.pth.tar') state_dict = { 'epoch': epoch, 'state_dict': model.state_dict(), 'optimizer': optimizer.state_dict(), 'val_accuracy': best_val_acc } torch.save(state_dict, checkpoint_file) ```