### PyTorch BERT BiLSTM CRF 实现命名实体识别项目 #### 项目概述 构建一个基于BERT、双向长短期记忆网络(BiLSTM)以及条件随机场(CRF)的模型来执行命名实体识别(NER)，可以显著提高对于复杂语境下的实体提取准确性。该架构融合了预训练的语言表示能力与序列标注的强大功能。 #### 数据准备 数据集通常由句子及其对应的标签组成，其中每个单词被分配了一个特定类型的标记，比如`B-Person`(人名开始), `I-Person`(人名内部), 或者'O'(非实体)[^1]。 #### 模型结构设计 整体框架分为三个主要部分： - **BERT层**: 使用Hugging Face Transformers库加载预训练好的BERT模型作为输入文本编码器。 - **BiLSTM层**: 接收来自BERT的最后一层隐藏状态向量，并通过前向和后向两个方向传递信息以捕捉上下文依赖关系。 - **CRF解码层**: 应用于最终特征空间中的线性链式条件随机场负责优化整个序列级别的预测结果一致性. ```python import torch.nn as nn from transformers import BertModel, AutoTokenizer class Bert_BiLSTM_CRF(nn.Module): def __init__(self, tag_to_ix, embedding_dim=768, hidden_dim=256): super().__init__() self.tagset_size = len(tag_to_ix) self.bert = BertModel.from_pretrained('bert-base-cased') self.lstm = nn.LSTM(embedding_dim, hidden_dim//2, num_layers=1, bidirectional=True, batch_first=True) # Maps the output of LSTM into tag space. self.hidden2tag = nn.Linear(hidden_dim, self.tagset_size) self.crf = CRF(self.tagset_size) def forward(self, input_ids, attention_mask=None, labels=None): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) sequence_output = outputs.last_hidden_state lstm_out, _ = self.lstm(sequence_output) emissions = self.hidden2tag(lstm_out) if labels is not None: loss = -self.crf(emissions, labels, mask=attention_mask.byte(), reduction='mean') return {'loss': loss} else: prediction = self.crf.decode(emissions, mask=attention_mask.byte()) return {'prediction': prediction} ``` 此代码片段展示了如何定义上述提到的三组件组合而成的一个完整的NER模型类。注意这里假设已经有一个名为`CRF` 的自定义模块实现了相应的算法逻辑。