### 将CONLL2003数据集预处理为适合Transformer模型使用的格式 为了使CONLL2003数据集适应于Transformer模型的应用，需经历一系列的数据预处理步骤。这些步骤旨在准备高质量的输入特征，从而提升模型性能。 #### 数据读取与初步解析 首先，加载并解析原始的CONLL2003文件。该数据集通常以特定格式存储，每行代表一个标记及其相应的标签，句子之间通过空行隔开。Python代码可用于实现这一过程： ```python def read_conll_file(file_path): sentences = [] sentence = [] with open(file_path, 'r', encoding='utf-8') as f: for line in f: if not line.strip(): if sentence: sentences.append(sentence) sentence = [] continue parts = line.split() word, label = parts[0], parts[-1] sentence.append((word, label)) if sentence: # Add the last sentence if file does not end with a newline sentences.append(sentence) return sentences ``` 此函数遍历整个文件，按句分割内容，并将每个单词与其NER标签配对[^2]。 #### 分词与编码 接下来，利用Hugging Face `transformers`库提供的工具完成分词和编码工作。这一步骤对于确保输入序列能够被有效传递给Transformer至关重要。具体操作如下所示： ```python from transformers import BertTokenizerFast tokenizer = BertTokenizerFast.from_pretrained('bert-base-cased') def preprocess_data(sentences, tokenizer, max_length=128): input_ids = [] attention_masks = [] labels_list = [] for sentence in sentences: words, labels = zip(*sentence) encoded_inputs = tokenizer(list(words), is_split_into_words=True, padding="max_length", truncation=True, max_length=max_length, return_tensors="pt") input_ids.append(encoded_inputs['input_ids'].squeeze()) attention_masks.append(encoded_inputs['attention_mask'].squeeze()) # Aligning labels to match tokenized inputs (handling subwords) aligned_labels = [-100] * max_length # Ignoring index for loss calculation for idx, lbl in enumerate(labels): start_idx = encoded_inputs.word_to_tokens(idx).start aligned_labels[start_idx] = int(lbl != "O") # Simplified example; adjust based on actual tag set. labels_list.append(aligned_labels) return { 'input_ids': torch.stack(input_ids), 'attention_mask': torch.stack(attention_masks), 'labels': torch.tensor(labels_list, dtype=torch.long) } ``` 上述代码片段展示了如何使用BERT风格的分词器来处理文本，并调整实体识别标签以匹配经过子词切分后的token位置。注意，在某些情况下可能需要更复杂的逻辑来正确映射多字词语到其对应的标签上[^5]。 #### 构建PyTorch Dataset类 最后，创建自定义Dataset对象以便于后续训练过程中高效迭代访问已处理过的批次化样本： ```python import torch from torch.utils.data import Dataset class Conll2003Dataset(Dataset): def __init__(self, data_dict): self.input_ids = data_dict["input_ids"] self.attention_masks = data_dict["attention_mask"] self.labels = data_dict["labels"] def __len__(self): return len(self.input_ids) def __getitem__(self, idx): item = {key: val[idx] for key, val in self.__dict__.items() if isinstance(val, torch.Tensor)} return item ``` 这样就完成了从原始CONLL2003格式向适配Transformer架构所需形式转变的过程[^3]。