### 深度学习中 Linear 层的作用 Linear 层（线性层）是神经网络中最基础的组成部分之一。它通过将输入数据与权重矩阵相乘，并加上偏置项，实现从输入到输出的线性变换。具体而言，对于输入张量 \(x\) 和权重矩阵 \(W\)，以及偏置向量 \(b\)，线性层的计算公式为： \[ y = xW^T + b \] 其中： - \(x\) 是输入张量，形状为 \((*, in\_features)\)，其中 \(*\) 表示任意数量的前导维度。 - \(W\) 是权重矩阵，形状为 \((in\_features, out\_features)\)。 - \(b\) 是偏置向量，形状为 \((out\_features)\)。 在 PyTorch 中，`torch.nn.Linear` 定义了线性层的功能[^1]。它的主要作用是将输入数据映射到一个新的特征空间，从而实现数据的降维或升维。例如，在图像分类任务中，线性层通常用于将卷积层提取的特征映射到类别标签的空间。 ```python import torch import torch.nn as nn # 定义一个线性层 linear_layer = nn.Linear(in_features=10, out_features=5) # 输入张量 input_tensor = torch.randn(3, 10) # 计算输出 output_tensor = linear_layer(input_tensor) print(output_tensor.shape) # 输出形状为 (3, 5) ``` ### Norm 层的功能 Norm 层（归一化层）的主要功能是对输入数据进行标准化处理，以确保每一层的输入具有相似的分布特性。这种标准化有助于加速模型的收敛，并提高模型的泛化能力。常见的归一化方法包括 Batch Normalization（BN）、Layer Normalization（LN）等。 #### Layer Normalization 的作用 Layer Normalization 是一种逐样本对特征进行归一化的技术。其核心思想是对每个样本的所有特征进行标准化，使得均值为 0，标准差为 1。Layer Normalization 的公式如下： \[ y = \gamma \cdot \frac{x - \mu}{\sigma} + \beta \] 其中： - \(x\) 是输入张量。 - \(\mu\) 和 \(\sigma\) 分别是输入张量在最后一个维度上的均值和标准差。 - \(\gamma\) 和 \(\beta\) 是可学习参数，分别用于缩放和偏移。 在 PyTorch 中，`torch.nn.LayerNorm` 实现了 Layer Normalization 的功能[^4]。通过调整 \(\gamma\) 和 \(\beta\) 参数，可以进一步优化归一化后的输出分布。 ```python # 定义 Layer Normalization n_features = 5 layer_norm = nn.LayerNorm(n_features) # 输入张量 input_tensor = torch.randn(3, n_features) # 计算输出 output_tensor = layer_norm(input_tensor) print(output_tensor.mean(-1)) # 均值接近 0 print(output_tensor.std(-1, unbiased=False)) # 标准差接近 1 ``` Layer Normalization 的优点在于它对序列长度不敏感，因此非常适合应用于自然语言处理任务中的 Transformer 模型。 --- ###