### 使用单层Transformer模型进行手写数字识别任务的准确率 对于手写数字识别任务，通常使用的数据集是MNIST数据集[^1]。该数据集包含了70,000张28×28像素的手写数字图像，分为训练集和测试集。 当采用单层Transformer模型处理此类任务时，尽管Transformer最初设计用于自然语言处理领域，其自注意力机制同样适用于计算机视觉任务。然而，在实际应用中，为了提高效率并更好地捕捉空间特征，往往会在输入端对图像做一定的预处理，比如将其分割成较小的patch，并通过线性映射转换为适合Transformer处理的形式。 关于具体准确率方面，由于单层Transformer结构相对简单，相比于多层堆叠或多头注意力机制的设计，可能无法充分挖掘复杂模式下的潜在关系，因此预期准确率会低于成熟的卷积神经网络(CNN)[^1]或更深更复杂的Transformers架构。不过，如果仅考虑单层的情况，根据现有研究报道，可以期望大约95%-97%之间的准确率范围，这取决于具体的实现细节以及超参数的选择如批量大小(n)和学习率(η)[^3]。 值得注意的是，上述提到的准确率是一个大致估计值；真实表现可能会因实验设置的不同而有所变化。为了获得更加精确的结果，建议参考最新的研究成果或者自行开展对比试验来进行验证。 ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch.nn as nn import torch.optim as optim class SingleLayerTransformer(nn.Module): def __init__(self, d_model=64, nhead=8, num_classes=10): super(SingleLayerTransformer, self).__init__() self.patch_embedding = nn.Linear(28*28, d_model) self.transformer_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead) self.fc_out = nn.Linear(d_model, num_classes) def forward(self, x): x = x.view(x.size(0), -1) embedded_patches = self.patch_embedding(x).unsqueeze(1) transformer_output = self.transformer_layer(embedded_patches) output = self.fc_out(transformer_output.squeeze()) return output transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))]) train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform) batch_size = 64 learning_rate = 0.001 train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False) model = SingleLayerTransformer() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(epochs): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() print('Finished Training') correct = 0 total = 0 with torch.no_grad(): for data in test_loader: images, labels = data outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print(f'Accuracy of the network on the {len(test_loader.dataset)} test images: %d %%' % ( accuracy)) ```