### ResNet、U-Net 和 Transformer 的模型架构及原理 #### ResNet (残差网络) ResNet 是由 He 等人在 2015 年提出的一种深度神经网络结构，其核心思想是通过引入残差连接解决了深层网络中的梯度消失问题。具体来说，ResNet 使用跳跃连接（skip connection），使得每一层的输入可以直接传递到后续若干层的输出中[^3]。 以下是 ResNet 的主要特点： - **残差块**：每两个卷积操作之间加入一个 shortcut 连接，允许信息绕过某些层直接传播。 - **前向传播公式**：假设 $ F(x) $ 表示某一层的映射函数，则最终输出为 $ H(x) = F(x) + x $。这里的加法运算使优化过程更加稳定。 ```python import torch.nn as nn class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_planes, planes, stride=1): super(BasicBlock, self).__init__() self.conv1 = nn.Conv2d(in_planes, planes, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(planes) self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(planes) self.shortcut = nn.Sequential() if stride != 1 or in_planes != self.expansion*planes: self.shortcut = nn.Sequential( nn.Conv2d(in_planes, self.expansion*planes, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(self.expansion*planes) ) def forward(self, x): out = nn.ReLU()(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) out = nn.ReLU()(out) return out ``` --- #### U-Net (全卷积网络用于图像分割) U-Net 是 Ronneberger 等人在 2015 年提出的一种专门针对医学影像分割任务的网络结构。它采用了 Encoder-Decoder 架构，并加入了 skip connections 来保留空间信息[^3]。 ##### 主要组成部分： - **Encoder 部分**：类似于传统的 CNN，逐层提取高层次特征，通常会伴随下采样操作（如 max pooling）。 - **Decoder 部分**：逐步恢复分辨率，利用上采样或转置卷积实现放大。 - **Skip Connections**：将低级特征图与高级特征图融合，帮助网络更好地定位目标区域。 ```python import torch.nn.functional as F def double_conv(in_channels, out_channels): return nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True) ) class UNet(nn.Module): def __init__(self): super().__init__() self.dconv_down1 = double_conv(1, 64) self.dconv_down2 = double_conv(64, 128) self.dconv_down3 = double_conv(128, 256) self.dconv_down4 = double_conv(256, 512) self.maxpool = nn.MaxPool2d(kernel_size=2, stride=2) self.upsample = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True) self.dconv_up3 = double_conv(256 + 512, 256) self.dconv_up2 = double_conv(128 + 256, 128) self.dconv_up1 = double_conv(128 + 64, 64) self.conv_last = nn.Conv2d(64, 1, kernel_size=1) def forward(self, x): conv1 = self.dconv_down1(x) x = self.maxpool(conv1) conv2 = self.dconv_down2(x) x = self.maxpool(conv2) conv3 = self.dconv_down3(x) x = self.maxpool(conv3) x = self.dconv_down4(x) x = self.upsample(x) x = torch.cat([x, conv3], dim=1) x = self.dconv_up3(x) x = self.upsample(x) x = torch.cat([x, conv2], dim=1) x = self.dconv_up2(x) x = self.upsample(x) x = torch.cat([x, conv1], dim=1) x = self.dconv_up1(x) out = self.conv_last(x) return out ``` --- #### Transformer (自注意力机制) Transformer 最初是由 Vaswani 等人在 2017 年提出的自然语言处理框架，后来被广泛应用于计算机视觉领域。它的核心在于 Self-Attention 机制，能够捕获序列中任意位置之间的关系[^2]。 ##### 关键组件： - **Self-Attention**：计算查询（Query）、键（Key）和值（Value）三者间的交互权重，得到全局上下文表示。 - **Multi-head Attention**：并行执行多个独立的 attention 计算路径，增强表达能力。 - **Positional Encoding**：由于 transformer 不具备天然顺序感知能力，因此需显式添加位置编码。 ```python import math class MultiHeadedAttention(nn.Module): def __init__(self, num_heads, d_model, dropout=0.1): super(MultiHeadedAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): nbatches = query.size(0) query, key, value = [ l(x).view(nbatches, -1, self.num_heads, self.d_k).transpose(1, 2) for l, x in zip(self.linears, (query, key, value))] scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) p_attn = F.softmax(scores, dim=-1) p_attn = self.dropout(p_attn) result = torch.matmul(p_attn, value) result = result.transpose(1, 2).contiguous().view(nbatches, -1, self.h * self.d_k) return self.linears[-1](result) ``` --- #### 总结对比 | 特性 | ResNet | U-Net | Transformer | |-------------------|----------------------------------|----------------------------------|--------------------------------| | 应用场景 | 图像分类 | 图像分割 | 自然语言处理/通用表征 | | 核心创新点 | 残差连接缓解梯度消失 | Skip Connection 提升精度 | Self-Attention 抓取长距离依赖 | | 是否支持密集预测 | 否 | 是 | 可扩展至密集预测 | ---