在Python中，初始化权重字典可以通过多种方式实现，具体取决于需求的复杂性和应用场景。以下是几种常见的实现方法： ### 1. 使用字典推导式初始化权重字典 可以使用字典推导式快速初始化一个权重字典。例如，如果希望为每一层指定一个特定的形状，可以使用如下代码： ```python weights = {layer: np.random.normal(0, 1, size=shape) for layer, shape in layer_shapes.items()} ``` 其中，`layer_shapes` 是一个包含每层名称和对应权重形状的字典，例如 `{'layer1': (256, 784), 'layer2': (128, 256)}` [^1]。 ### 2. 使用 NumPy 初始化权重字典 如果希望使用 NumPy 进行正态分布或均匀分布的初始化，可以结合字典推导式生成权重字典： ```python import numpy as np weights = { 'layer1': np.random.normal(0, 1, size=(256, 784)), # 正态分布 'layer2': np.random.uniform(-0.1, 0.1, size=(128, 256)) # 均匀分布 } ``` 这种方法适用于需要为不同层分配不同初始化方法的情况 。 ### 3. 使用 Xavier 初始化权重字典 Xavier 初始化是一种更高级的初始化方法，适用于深度神经网络中的权重初始化。可以通过 `torch.nn.init.xavier_normal_` 或 `torch.nn.init.xavier_uniform_` 来实现，并将其存储到字典中： ```python import torch import torch.nn.init as init weights = { 'layer1': torch.Tensor(256, 784), 'layer2': torch.Tensor(128, 256) } for key in weights: init.xavier_normal_(weights[key]) ``` 这种方法可以为每个层提供更加合理的初始化权重 [^2]。 ### 4. 使用 Kaiming 初始化权重字典 Kaiming 初始化适用于 ReLU 激活函数，可以通过 `torch.nn.init.kaiming_normal_` 或 `torch.nn.init.kaiming_uniform_` 实现： ```python import torch import torch.nn.init as init weights = { 'layer1': torch.Tensor(256, 784), 'layer2': torch.Tensor(128, 256) } for key in weights: init.kaiming_normal_(weights[key]) ``` 这种方法在卷积神经网络中表现尤为出色 。 ### 5. 使用常数初始化权重字典 如果需要为权重字典中的所有层初始化为一个常数，可以使用如下代码： ```python weights = {layer: torch.ones(shape) for layer, shape in layer_shapes.items()} ``` 或者使用特定值填充： ```python weights = {layer: torch.full(shape, 0.1) for layer, shape in layer_shapes.items()} ``` 这种方法适用于简单的初始化需求 [^3]。 ### 6. 使用稀疏初始化权重字典 对于稀疏初始化，可以使用 `torch.nn.init.sparse_` 方法： ```python import torch import torch.nn.init as init weights = { 'layer1': torch.Tensor(256, 784), 'layer2': torch.Tensor(128, 256) } for key in weights: init.sparse_(weights[key], sparsity=0.1) ``` 这种方法适用于需要稀疏化的权重初始化 [^3]。 --- ###