### PyTorch 中 `nn.Linear` 的矩阵乘法实现原理 在 PyTorch 中，`nn.Linear` 是一个用于实现线性变换的模块。它的核心功能可以通过公式表示为 \(y = xA^T + b\)，其中： - \(x\) 表示输入张量， - \(A^T\) 表示权重矩阵的转置， - \(b\) 表示偏置向量。 #### 权重矩阵的设计 `nn.Linear` 接受两个主要参数：`input_dim` 和 `output_dim`。这决定了权重矩阵 \(W\) 的形状为 `(output_dim, input_dim)`[^4]。这种设计是为了方便后续计算时直接使用矩阵乘法操作而无需显式转置权重矩阵。 例如，在以下代码中定义了一个从 20 维到 30 维的映射关系： ```python m = torch.nn.Linear(20, 30) print('Weight shape:', m.weight.shape) # Weight shape: torch.Size([30, 20]) ``` 可以看到，这里的权重矩阵大小正好匹配上述描述——即输出维度放在第一位，输入维度位于第二位[^4]。 #### 偏置项的作用 如果设置了 `bias=True`（默认设置），那么还会额外增加一个长度等于 `output_dim` 的可学习向量作为偏移量加入到最后的结果当中去[^5]。 #### 内部计算过程分析 给定一批次的数据 `x` 形状为 `[batch_size, input_dim]` ，则通过调用 `nn.Linear` 后返回的新张量将会具备 `[batch_size, output_dim]` 的尺寸规格[^2]。具体来说就是先执行标准意义上的矩阵点积运算 (\(\text{torch.mm}(x,\ W.T)\)) 并紧接着再加上对应的偏置部分形成最终输出形式\(y=x⋅AT+b\): 考虑这样一个简单的例子来展示整个流程是如何运作起来的: ```python import torch from torch import nn # 创建模拟数据集 x = torch.randn(128, 20) # 构建一层神经网络层 m = nn.Linear(20, 30) # 获取当前模型状态下的权重与偏置信息 w_t = m.weight.t() # 转置后的权重矩阵 b = m.bias # 偏置向量 # 手动验证等效表达式的正确性 manual_output = torch.matmul(x,w_t)+b.unsqueeze(0).expand_as(manual_output) auto_output = m(x) assert torch.allclose(auto_output, manual_output), '两者不一致!' ``` 在这里我们看到无论是自动化的还是手动构造出来的版本都能够产生完全相同的效果证明了官方文档里提到过的那个重要性质确实成立[^4]. --- ### 总结 综上所述，PyTorch 的 `nn.Linear` 主要是依靠内置高效的矩阵运算库来进行大规模并行化处理从而达到快速完成各种复杂任务的目的的同时还保持高度灵活性允许开发者自由定制所需的各种特性[^1][^2][^3].