### 如何在 PyTorch 中冻结和解冻特定模块的权重 在 PyTorch 中，可以通过设置模型参数 `requires_grad` 属性来控制是否计算梯度并更新这些参数。对于想要冻结的层，可以将其 `requires_grad` 设置为 `False`; 对于希望继续训练的层，则保持其为 `True`。 #### 使用索引方式冻结/解冻指定层数 当知道要操作的具体层次序号时，可采用基于索引的方法： ```python def freeze_by_idxs(model, idxs): if isinstance(idxs, int): # 单个整数表示一层或多层连续编号 for i, child in enumerate(model.children()): if i == abs(idxs): set_requires_grad(child, False) break elif isinstance(idxs, list) or isinstance(idxs, tuple): # 列表或元组形式给出多个不连续编号 for i, child in enumerate(model.children()): if i in map(abs, idxs): set_requires_grad(child, False) def unfreeze_by_idxs(model, idxs): if isinstance(idxs, int): for i, child in enumerate(model.children()): if i == abs(idxs): set_requires_grad(child, True) break elif isinstance(idxs, list) or isinstance(idxs, tuple): for i, child in enumerate(model.children()): if i in map(abs, idxs): set_requires_grad(child, True) ``` 上述代码展示了如何通过给定的索引来实现对单个或多个层的同时冻结与解冻[^1]。 #### 基于名称模式匹配的方式冻结/解冻某些层 如果目标是按照名字来定位待处理的子模块，那么可以根据字符串匹配来进行更灵活的操作： ```python import re def freeze_by_names(model, names): pattern = re.compile('|'.join([f'({name})' for name in (names,) if isinstance(names,str)])) def apply_pattern(module): if not any(map(lambda n: bool(re.match(n,module.__class__.__name__)), ['Sequential'])): return for k,param in module.named_parameters(): matched_name = ''.join(filter(str.isalnum,k.split('.')[0])) if re.search(pattern,matched_name.lower()) is not None: param.requires_grad_(False) model.apply(apply_pattern) def unfreeze_by_names(model, names): pattern = re.compile('|'.join([f'({name})' for name in (names,) if isinstance(names,(str,tuple))])) def reset_param_req_grad(module): if not any(map(lambda n: bool(re.match(n,module.__class__.__name__)), ['Sequential'])): return for k,param in module.named_parameters(): matched_name = ''.join(filter(str.isalnum,k.split('.')[0])) if re.search(pattern,matched_name.lower()) is not None: param.requires_grad_(True) model.apply(reset_param_req_grad) ``` 这里定义了一个辅助函数用于遍历整个网络结构，并利用正则表达式去查找符合条件的名字路径下的所有参数节点，进而调整它们的 `requires_grad` 属性值。