### PyTorch 中 `grid_sample` 的计算原理 `torch.nn.functional.grid_sample` 是 PyTorch 提供的一个函数，用于基于指定的网格 (`grid`) 对输入张量 (`input`) 进行采样。该函数的核心在于如何根据网格中的坐标值从输入张量中提取数据并应用插值方法来生成输出。 #### 参数详解 - **`input`**: 输入张量，形状为 `(N, C, H_{in}, W_{in})`，其中 `N` 表示批量大小，`C` 表示通道数，`H_{in}` 和 `W_{in}` 分别表示输入的高度和宽度。 - **`grid`**: 采样网格，形状为 `(N, H_{out}, W_{out}, 2)`，其中每一对 `(x, y)` 坐标定义了一个像素位置，范围通常是 `[-1, 1]`，对应于输入张量的标准化坐标系[^1]。 - **`mode`**: 插值模式，默认为 `'bilinear'`，支持线性插值；还可以设置为 `'nearest'` 或 `'bicubic'` 来分别实现最近邻插值和双三次插值[^4]。 - **`padding_mode`**: 边界填充方式，默认为 `'zeros'`，即超出边界的部分填零；也可以设为 `'border'`（使用边界值填充）或 `'reflection'`（反射填充）[^3]。 - **`align_corners`**: 控制是否对齐角点，默认为 `None`。如果为 `True`，则将 `-1` 和 `1` 映射到输入边界的角点上；如果为 `False`，则映射到边缘中心[^2]。 #### 计算过程 1. **规范化坐标转换** 网格中的每个 `(x, y)` 值位于区间 `[-1, 1]` 上，需要将其转换为实际的像素索引 `[0, H_{in}-1] × [0, W_{in}-1]`。具体公式如下： \[ u = \frac{(x + 1)}{2} \times (W_{\text{in}} - 1), \quad v = \frac{(y + 1)}{2} \times (H_{\text{in}} - 1) \] 如果设置了 `align_corners=True`，上述公式的分母应改为 `W_{\text{in}}` 和 `H_{\text{in}}`。 2. **插值计算** 根据所选的插值模式进行数值估计： - **Bilinear Interpolation ('bilinear')** 找到最接近目标坐标的四个整数点 `(floor(u), floor(v))`, `(ceil(u), floor(v))`, `(floor(u), ceil(v))`, `(ceil(u), ceil(v))` 并按权重加权平均。 ```python def bilinear_interpolate(image, x, y): x0, x1 = int(x.floor()), int(x.ceil()) y0, y1 = int(y.floor()), int(y.ceil()) w_x0_y0 = (x1-x) * (y1-y) w_x1_y0 = (x-x0) * (y1-y) w_x0_y1 = (x1-x) * (y-y0) w_x1_y1 = (x-x0) * (y-y0) value = ( image[:, :, y0, x0] * w_x0_y0 + image[:, :, y0, x1] * w_x1_y0 + image[:, :, y1, x0] * w_x0_y1 + image[:, :, y1, x1] * w_x1_y1 ) return value ``` - **Nearest Neighbor ('nearest')** 将目标坐标四舍五入至最近的整数点作为最终取样位置。 ```python def nearest_neighbor(image, x, y): x_rounded = round(x) y_rounded = round(y) return image[:, :, y_rounded, x_rounded] ``` 3. **边界处理** 当采样点超出了原始图像范围时，依据 `padding_mode` 设置决定返回值： - 若为 `'zeros'`，直接返回零； - 若为 `'border'`，采用边界上的最后一个有效值； - 若为 `'reflection'`，沿边界翻转镜像填充。 --- ### 示例代码展示 以下是完整的 `grid_sample` 使用案例： ```python import torch from torch.nn import functional as F # 定义输入张量 inp = torch.arange(16).reshape(1, 1, 4, 4).float() # 形状为 (1, 1, 4, 4)，模拟一张灰度图 # 创建采样网格 out_h, out_w = 8, 8 # 输出尺寸为 8×8 new_h = torch.linspace(-1, 1, out_h).view(-1, 1).repeat(1, out_w) new_w = torch.linspace(-1, 1, out_w).repeat(out_h, 1) grid = torch.stack((new_w, new_h), dim=2).unsqueeze(0) # 形状为 (1, 8, 8, 2) # 应用 grid_sample 函数 output = F.grid_sample(inp, grid, mode='bilinear', padding_mode='zeros', align_corners=False) print(output.shape) # 输出形状为 (1, 1, 8, 8) ``` 此代码片段展示了如何利用 `grid_sample` 实现分辨率调整以及自定义采样的效果。 --- ### 总结 `grid_sample` 是一种强大的工具，在计算机视觉领域广泛应用于仿射变换、光流场建模等场景。其核心思想是通过插值技术完成任意位置的数据抽取，并提供灵活的配置选项满足不同需求。