### 实现ResNet101并应用于本地数据集 #### 构建ResNet101模型 为了构建ResNet101，在PyTorch中可以利用`torchvision.models.resnet.ResNet`类作为基础框架。ResNet101由多个残差块组成，这些块按照特定的方式堆叠在一起形成完整的网络结构[^1]。 ```python import torch.nn as nn from torchvision import models class ResNet101(nn.Module): def __init__(num_classes=1000, pretrained=False): super().__init__() self.model = models.resnet101(pretrained=pretrained) # 修改最后一层全连接层以适应新的类别数 num_ftrs = self.model.fc.in_features self.model.fc = nn.Linear(num_ftrs, num_classes) def forward(x): return self.model(x) ``` 这段代码展示了如何创建一个继承自`nn.Module`的新类来定义自己的ResNet101版本，并调整最后的全连接层以便能够处理不同的分类任务需求。 #### 准备本地数据集 对于本地的数据准备，通常需要编写自定义的数据加载器(DataLoader)，这可以通过继承`torch.utils.data.Dataset`类来自定义读取逻辑。假设有一个文件夹结构用于存储图片及其标签，则可按如下方式操作： ```python from PIL import Image import os from torch.utils.data import Dataset, DataLoader import torchvision.transforms as transforms class CustomDataset(Dataset): def __init__(root_dir, transform=None): """ 初始化函数设置根目录路径和转换方法. :param root_dir: 数据集所在根目录 :param transform: 应用到样本上的变换 """ self.root_dir = root_dir self.transform = transform classes = sorted(entry.name for entry in os.scandir(root_dir) if entry.is_dir()) class_to_idx = {cls_name: i for i, cls_name in enumerate(classes)} samples = [] for target_class in classes: d = os.path.join(root_dir, target_class) if not os.path.isdir(d): continue for root, _, fnames in sorted(os.walk(d)): path = [os.path.join(root, fname) for fname in sorted(fnames)] samples.extend([(p, class_to_idx[target_class]) for p in path]) self.samples = samples def __len__(): return len(self.samples) def __getitem__(idx): path, target = self.samples[idx] sample = Image.open(path).convert('RGB') if self.transform is not None: sample = self.transform(sample) return sample, target ``` 此部分实现了从指定位置加载图像的功能，并支持应用预处理步骤如缩放、裁剪等。 #### 训练过程 有了上述组件之后，就可以开始训练流程了。这里提供了一个简单的例子说明如何组合所有要素来进行实际训练: ```python device = 'cuda' if torch.cuda.is_available() else 'cpu' transform_train = transforms.Compose([ transforms.RandomCrop(224), transforms.ToTensor(), ]) trainset = CustomDataset(root='./data/train', transform=transform_train) trainloader = DataLoader(trainset, batch_size=64, shuffle=True) model = ResNet101(num_classes=len(set([s[1] for s in trainset.samples]))) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) for epoch in range(EPOCHS): running_loss = 0.0 model.train() for inputs, labels in trainloader: optimizer.zero_grad() outputs = model(inputs.to(device)) loss = criterion(outputs, labels.to(device)) loss.backward() optimizer.step() running_loss += loss.item() print(f'[Epoch {epoch + 1}] Loss: {running_loss / len(trainloader)}') print('Finished Training.') ``` 以上就是使用PyTorch实现ResNet101并对本地定制化数据集进行训练的方法概述[^2]。