### 使用 PyTorch 实现带截断标准差的正态分布初始化张量 为了实现带有截断标准差的正态分布初始化张量，在 PyTorch 中可以采用如下方式： #### 方法一：利用 `torch.nn.init.trunc_normal_` PyTorch 提供了一个内置函数可以直接用于此目的，即`torch.nn.init.trunc_normal_()`。这使得操作变得非常简单。 ```python import torch from torch import nn tensor = torch.empty(3, 5) # 创建一个未初始化的张量 nn.init.trunc_normal_(tensor, mean=0., std=2., a=-2*2, b=2*2) print(tensor) ``` 上述代码创建了一个形状为 `(3, 5)` 的空张量，并调用了 `trunc_normal_` 函数对其进行初始化[^4]。这里的参数设置确保了生成的数据来自均值为 `0`、标准差为 `2` 的正态分布，并且只保留落在区间 `[-4, 4]` 内的部分数据点；其余部分则会被重新抽样直至满足条件为止。 #### 方法二：手动实现 如果希望更深入理解过程或者版本不支持 `trunc_normal_` 函数，则可以通过编写自定义逻辑来达到相同的效果: ```python def truncated_normal_init(t, mean=0., trunc_std=2.): size = t.shape tmp = torch.randn(size) * trunc_std + mean valid = ((tmp >= (-2 * trunc_std)) & (tmp <= (2 * trunc_std))) while not valid.all(): invalid_idx = ~valid.nonzero(as_tuple=True)[0] resample = torch.randn(len(invalid_idx), device=t.device) * trunc_std + mean tmp[invalid_idx] = resample[(resample >= (-2 * trunc_std)) & (resample <= (2 * trunc_std))] valid = ((tmp >= (-2 * trunc_std)) & (tmp <= (2 * trunc_std))) with torch.no_grad(): t.copy_(tmp) # 应用自定义初始化器 t = torch.zeros((3, 5)) truncated_normal_init(t, mean=0., trunc_std=2.) print(t) ``` 这段代码实现了同样的功能——它不断重试那些超出指定范围之外的随机数，直到所有的数值都位于期望范围内[^1]。 对于 TensorFlow 用户来说，也可以找到类似的解决方案，比如使用 `tf.random.truncated_normal` 来完成相似的任务。