### Transformer、MLP、CNN 和 GNN 处理高维数据的优点和缺点 #### Transformer 的特点 Transformer 基于自注意力机制，能够捕捉全局信息，在处理图像分类等任务时表现出色。然而，这种模型通常需要大量的训练数据才能达到最佳性能[^1]。 对于高维数据而言，Transformer 可以有效地建模序列中的长期依赖关系，并通过多头自注意力机制关注输入的不同部分之间的交互作用。这使得它非常适合处理具有复杂结构的数据集，但也意味着更高的计算成本和更长的训练时间需求。 ```python import torch.nn as nn class TransformerModel(nn.Module): def __init__(self, d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1): super(TransformerModel, self).__init__() self.transformer = nn.Transformer(d_model=d_model, nhead=nhead, num_encoder_layers=num_encoder_layers, num_decoder_layers=num_decoder_layers, dim_feedforward=dim_feedforward, dropout=dropout) def forward(self, src, tgt): output = self.transformer(src, tgt) return output ``` #### MLP（多层感知器）的特点 MLP 是一种简单的前馈神经网络架构，由多个全连接层组成。其主要优势在于实现简单且易于理解；但对于非常高维度的空间来说，可能会遇到过拟合问题以及难以有效提取特征的问题。 当应用于高维数据时，尽管可以通过增加隐藏层数量来增强表达能力，但这也会导致参数数量急剧增长，从而增加了优化难度并可能引发梯度消失现象。 ```python import torch.nn.functional as F class MLP(nn.Module): def __init__(self, input_dim, hidden_dims, output_dim): super().__init__() layers = [] dims = [input_dim] + hidden_dims + [output_dim] for i in range(len(dims)-1): linear_layer = nn.Linear(dims[i], dims[i+1]) layers.append(linear_layer) if i != len(dims)-2: activation_fn = nn.ReLU() batch_norm = nn.BatchNorm1d(dims[i+1]) layers.extend([activation_fn,batch_norm]) self.mlp = nn.Sequential(*layers) def forward(self,x): out=self.mlp(x) return out ``` #### CNN（卷积神经网络）的特点 CNN 利用了局部感受野和平移不变性的特性，特别适合用于计算机视觉领域内的各种任务。由于采用了共享权重的方式构建滤波器，因此相比于其他类型的深层学习方法更加高效地利用了空间上的冗余信息。 面对高维数据时，虽然可以借助池化操作减少尺寸大小进而降低后续运算负担，但在某些情况下仍然会因为缺乏足够的上下文而影响最终效果。 ```python from torchvision import models class CustomResNet(models.ResNet): def __init__(self,num_classes,**kwargs): super(CustomResNet,self).__init__( block=models.resnet.BasicBlock,layers=[2,2,2,2], **kwargs ) self.fc = nn.Linear(in_features=512,out_features=num_classes) def _forward_impl(self,x): x = self.conv1(x) x = self.bn1(x) x = self.relu(x) x = self.maxpool(x) x = self.layer1(x) x = self.layer2(x) x = self.layer3(x) x = self.layer4(x) x = self.avgpool(x) x = torch.flatten(x,1) x = self.fc(x) return x ``` #### GNN（图神经网络）的特点 GNN 能够很好地适应不规则形状的数据分布情况，比如社交网络分析或分子化学等领域内常见的图形结构。这类算法允许节点之间传递消息并通过迭代更新方式逐步聚合邻居的信息直到收敛为止。 针对高维数据的任务，如果原始样本本身具备明显的拓扑关联属性，则采用基于图的方法往往可以获得更好的泛化能力和解释力。不过需要注意的是，实际应用过程中如何合理定义边权值函数将会直接影响到整体表现的好坏程度。 ```python import torch_geometric.nn as pyg_nn class GraphConvolutionalNetwork(pyg_nn.MessagePassing): def __init__(self,in_channels,hidden_channels,out_channels): super(GraphConvolutionalNetwork, self).__init__(aggr='add') self.lin_start = nn.Linear(in_channels,hidden_channels) self.lin_end = nn.Linear(hidden_channels,out_channels) def forward(self,data): x, edge_index = data.x, data.edge_index # Message passing phase. x = self.propagate(edge_index=x, size=None, x=x) # Update node embeddings with a fully connected layer. x = F.relu(self.lin_start(x)) x = self.lin_end(x) return x def message(self,x_j): return x_j ```