### 使用PyTorch和迁移学习(VGG16和ResNet18)实现验证码识别 #### 准备工作 为了使用预训练的VGG16和ResNet18模型来处理验证码识别任务，需要先安装必要的库，并加载这些预训练模型。验证码通常由固定长度的一串字符组成，因此可以将其视为一个多类别分类问题。 ```python import torch from torchvision import models, transforms from torch.utils.data import DataLoader, Dataset import os from PIL import Image import numpy as np ``` #### 数据集准备 创建一个自定义的数据集类用于读取本地存储的验证码图片文件夹中的图像以及对应的标签。假设每张图片的名字即为其真实标签。 ```python class CaptchaDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = root_dir self.transform = transform self.image_files = [os.path.join(root_dir, f) for f in os.listdir(root_dir)] def __len__(self): return len(self.image_files) def __getitem__(self, idx): img_name = self.image_files[idx] image = Image.open(img_name).convert('RGB') label = ... # 解析出label逻辑 if self.transform: image = self.transform(image) return image, label ``` #### 加载预训练模型并修改最后一层 对于VGG16和ResNet18来说，在应用到新的任务上之前都需要冻结除最后几层外的所有参数，并替换掉原有的全连接层以适应新任务的需求。 ##### 修改VGG16的最后一层 ```python vgg_model = models.vgg16(pretrained=True) for param in vgg_model.parameters(): param.requires_grad_(False) num_features = vgg_model.classifier[6].in_features features = list(vgg_model.classifier.children())[:-1] # Remove last layer features.extend([torch.nn.Linear(num_features, num_classes)]) # Add our layer with `num_classes` outputs vgg_model.classifier = torch.nn.Sequential(*features) ``` ##### 修改ResNet18的最后一层 ```python resnet_model = models.resnet18(pretrained=True) for param in resnet_model.parameters(): param.requires_grad_(False) fc_inputs = resnet_model.fc.in_features resnet_model.fc = nn.Linear(fc_inputs, num_classes) ``` 此处`num_classes`应设置为你所要预测的不同字符的数量乘以验证码位数[^1]。 #### 训练过程 设定好超参数之后就可以开始训练两个不同的模型了： ```python criterion = torch.nn.CrossEntropyLoss() optimizer_vgg = torch.optim.Adam(vgg_model.parameters()) optimizer_resnet = torch.optim.Adam(resnet_model.parameters()) def train(model, optimizer, dataloader, criterion, epochs=5): model.train() for epoch in range(epochs): running_loss = 0.0 corrects = 0 total = 0 for inputs, labels in dataloader: ... train(vgg_model, optimizer_vgg, captcha_loader, criterion) train(resnet_model, optimizer_resnet, captcha_loader, criterion) ``` 完成上述操作后即可得到经过微调后的VGG16和ResNet18模型。接下来可以通过测试集评估这两个模型的表现差异。 #### 效果对比 在验证集或独立测试集上运行两者的推理流程，记录下各自的准确度指标作为最终评价标准之一；还可以考虑其他衡量方式比如F1分数等更全面地了解哪个架构更适合当前的任务需求。