### 使用 Vision Transformer (ViT-Base-16) 处理 CIFAR-100 数据集 为了在 Pytorch 框架下使用 Vision Transformer (ViT-Base-16) 实现 CIFAR-100 数据集的模式识别任务，以下是详细的说明和代码示例。 #### 1. 安装必要的库 确保已安装最新的 `torch` 和 `torchvision` 版本。这些库提供了构建 ViT 所需的功能以及加载预训练权重的能力[^2]。 ```bash pip install torch torchvision ``` #### 2. 导入所需模块 导入用于数据处理、模型定义和优化器的相关模块。 ```python import torch from torch import nn, optim from torchvision import datasets, transforms, models from torch.utils.data import DataLoader ``` #### 3. 加载并预处理 CIFAR-100 数据集 CIFAR-100 是一个小型图像数据集，每张图片大小为 \(32 \times 32\) 像素。由于 ViT 模型通常接受较大的输入尺寸（如 \(224 \times 224\)），因此需要对图像进行缩放和其他标准化操作[^2]。 ```python transform = transforms.Compose([ transforms.Resize((224, 224)), # 调整到 ViT 输入尺寸 transforms.ToTensor(), transforms.Normalize(mean=[0.5071, 0.4867, 0.4408], std=[0.2675, 0.2565, 0.2761]) # CIFAR-100 的均值和标准差 ]) train_dataset = datasets.CIFAR100(root='./data', train=True, download=True, transform=transform) test_dataset = datasets.CIFAR100(root='./data', train=False, download=True, transform=transform) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False) ``` #### 4. 初始化 Vision Transformer (ViT-Base-16) 并调整分类头 利用 `torchvision.models.vit_b_16` 创建 ViT-Base-16 模型，并替换其默认的分类层以适配 CIFAR-100 的 100 类别需求。 ```python model = models.vit_b_16(weights=models.ViT_B_16_Weights.IMAGENET1K_V1) # 自动下载 ImageNet 预训练权重 # 替换最后的全连接层以匹配 CIFAR-100 的类别数 num_classes = 100 model.heads.head = nn.Linear(model.heads.head.in_features, num_classes) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) ``` #### 5. 设置损失函数与优化器 选择交叉熵作为损失函数，并采用 AdamW 优化器来更新参数。 ```python criterion = nn.CrossEntropyLoss() optimizer = optim.AdamW(model.parameters(), lr=1e-4) ``` #### 6. 训练过程 通过迭代多个 epoch 来完成模型的训练。 ```python def train_model(model, criterion, optimizer, train_loader, test_loader, epochs): model.train() for epoch in range(epochs): running_loss = 0.0 correct_predictions = 0 total_samples = 0 for images, labels in train_loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() _, predicted = torch.max(outputs, 1) running_loss += loss.item() * images.size(0) total_samples += labels.size(0) correct_predictions += (predicted == labels).sum().item() epoch_loss = running_loss / total_samples epoch_accuracy = correct_predictions / total_samples print(f"Epoch [{epoch+1}/{epochs}], Loss: {epoch_loss:.4f}, Accuracy: {epoch_accuracy*100:.2f}%") train_model(model, criterion, optimizer, train_loader, test_loader, epochs=10) ``` #### 7. 测试模型性能 评估模型在测试集上的表现。 ```python def evaluate_model(model, test_loader): model.eval() correct_predictions = 0 total_samples = 0 with torch.no_grad(): for images, labels in test_loader: images, labels = images.to(device), labels.to(device) outputs = model(images) _, predicted = torch.max(outputs, 1) total_samples += labels.size(0) correct_predictions += (predicted == labels).sum().item() accuracy = correct_predictions / total_samples print(f"Test Accuracy: {accuracy*100:.2f}%") evaluate_model(model, test_loader) ``` --- ### 总结 以上展示了如何使用 Vision Transformer (ViT-Base-16) 在 Pytorch 中实现 CIFAR-100 数据集的模式识别任务。主要步骤包括数据预处理、初始化 ViT 模型、调整分类头、设置优化策略以及执行训练和测试流程[^2]。