### NumPy 广播机制与 Tensor 广播机制详解 #### 1. NumPy 广播机制 NumPy 的广播机制允许对形状不同的数组进行按元素操作，其核心规则如下： - 当两个数组的维度从后向前逐个比较时，如果某一维度的大小不相等，则必须满足以下条件之一才能进行广播[^1]： - 其中一个维度为 1。 - 两个维度相等。 - 如果某个数组的维度少于另一个数组，则会在前面补足 1，直到两个数组的维度数相同。 - 在广播过程中，较小的数组会被“扩展”以匹配较大的数组形状，但不会实际增加内存占用。 **示例代码：** ```python import numpy as np # 创建两个形状不同的数组 A = np.array([[1, 2], [3, 4]]) B = np.array([10, 20]) # 使用广播机制进行加法运算 result = A + B print(result) ``` **输出结果：** ``` [[11 22] [13 24]] ``` 上述代码中，`B` 被扩展为 `[[10, 20], [10, 20]]` 以匹配 `A` 的形状[^2]。 --- #### 2. PyTorch Tensor 广播机制 PyTorch 中的 Tensor 广播机制与 NumPy 类似，同样遵循广播规则。以下是关键点： - Tensor 广播机制的核心规则与 NumPy 完全一致[^5]。 - 广播机制在按元素操作（如加法、乘法）时自动生效。 - 如果需要手动控制广播行为，可以使用 `unsqueeze()` 和 `expand()` 等方法调整 Tensor 的形状。 **示例代码：** ```python import torch # 创建两个形状不同的 Tensor A = torch.tensor([[1, 2], [3, 4]]) B = torch.tensor([10, 20]) # 使用广播机制进行加法运算 result = A + B print(result) ``` **输出结果：** ``` tensor([[11, 22], [13, 24]]) ``` 在此示例中，`B` 被广播为 `[[10, 20], [10, 20]]` 以匹配 `A` 的形状[^3]。 --- #### 3. 广播机制的详细步骤 广播机制的具体步骤总结如下： 1. 对比两个数组或 Tensor 的形状，从最后一个维度开始逐个比较。 2. 如果某一维度的大小不相等，则检查是否满足广播条件（其中一个维度为 1 或两者相等）。 3. 如果满足条件，则将较小的数组或 Tensor 沿该维度扩展，使其与较大的数组或 Tensor 形状一致。 4. 如果所有维度都满足广播条件，则可以执行按元素操作；否则会抛出错误。 **示例代码：** ```python import numpy as np # 创建形状不同的数组 A = np.arange(0, 40, 10).reshape(4, 1) # 形状 (4, 1) B = np.arange(0, 3) # 形状 (3,) # 使用广播机制进行加法运算 result = A + B print(result) ``` **输出结果：** ``` [[ 0 1 2] [10 11 12] [20 21 22] [30 31 32]] ``` 在此示例中，`B` 被扩展为 `(4, 3)` 的形状以匹配 `A` 的形状[^4]。 --- ###