### torch.nn.functional.normalize 参数说明 `torch.nn.functional.normalize` 是 PyTorch 提供的一个用于对张量进行归一化的函数。其主要作用是对输入张量沿着指定维度 `dim` 进行 Lp 范数归一化[^1]。 #### 函数定义 ```python torch.nn.functional.normalize(input, p=2, dim=1, eps=1e-12, out=None) ``` - **input**: 输入张量，形状可以是任意维。 - **p**: 归一化使用的范数，默认为 2（即 L2 范数）。也可以设置其他值，比如 1 表示 L1 范数。 - **dim**: 沿着哪个维度进行归一化操作。默认为 1，表示按照行方向进行归一化。 - **eps**: 防止除零错误的小数值，默认为 \(1 \times 10^{-12}\)。 - **out**: 结果存储的目标张量（可选）。 --- #### 二维数据实例解释 假设有一个二维张量： ```python import torch x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]) ``` ##### 当 `dim=0` 时： 沿列方向进行归一化，每列分别计算 L2 范数并归一化[^4]。 ```python y_dim0 = torch.nn.functional.normalize(x, p=2, dim=0) print(y_dim0) # 输出类似于： # tensor([[0.2673, 0.3714, 0.4866], # [0.9636, 0.9245, 0.8729]]) ``` ##### 当 `dim=1` 时： 沿行方向进行归一化，每行分别计算 L2 范数并归一化。 ```python y_dim1 = torch.nn.functional.normalize(x, p=2, dim=1) print(y_dim1) # 输出类似于： # tensor([[0.2673, 0.5345, 0.8018], # [0.4558, 0.5698, 0.6837]]) ``` ##### 当 `dim=-1` 时： 对于二维张量而言，`dim=-1` 等价于 `dim=1`，因为 `-1` 表示最后一个维度。 ```python y_dim_neg1 = torch.nn.functional.normalize(x, p=2, dim=-1) print(torch.equal(y_dim1, y_dim_neg1)) # True ``` --- #### 三维数据实例解释 假设有一个三维张量： ```python image_1 = torch.tensor([[[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], [[7.0, 8.0, 9.0], [10.0, 11.0, 12.0]]]) ``` ##### 当 `dim=0` 时： 沿第一个维度（通道维度）进行归一化，每个位置上的值单独计算 L2 范数并归一化。 ```python result_dim0 = torch.nn.functional.normalize(image_1, p=2, dim=0) print(result_dim0.shape) # (2, 2, 3)，保持原形状不变 ``` ##### 当 `dim=1` 时： 沿第二个维度（高度维度）进行归一化，每一列分别计算 L2 范数并归一化。 ```python result_dim1 = torch.nn.functional.normalize(image_1, p=2, dim=1) print(result_dim1.shape) # (2, 2, 3)，保持原形状不变 ``` ##### 当 `dim=2` 或 `dim=-1` 时： 沿第三个维度（宽度维度）进行归一化，每一行分别计算 L2 范数并归一化。 ```python result_dim2 = torch.nn.functional.normalize(image_1, p=2, dim=2) result_dim_neg1 = torch.nn.functional.normalize(image_1, p=2, dim=-1) print(torch.equal(result_dim2, result_dim_neg1)) # True ``` --- #### 对图像张量 `image_1` 的归一化操作 如果要对 `image_1` 按照像素级（最后一维）进行归一化，则可以选择 `dim=-1`： ```python normalized_image = torch.nn.functional.normalize(image_1, p=2, dim=-1) print(normalized_image) ``` 这会使得每个像素向量被归一化到单位长度，而不会改变张量的整体结构。 需要注意的是，即使经过归一化处理，原始数据中的负值仍然可能保留下来[^3]。 --- ###