### 两阶段深度学习训练方法 #### 无监督预训练 Transformer 语言模型 在预训练阶段，目标是让模型能够理解大量的自然语言数据并从中提取有用的特征。此阶段采用的是大规模无监督学习的方式，在未标注的数据集上进行训练，使得模型可以捕捉到文本中的语法结构以及语义信息[^1]。 对于基于 Transformer 的架构而言，常见的做法是从互联网抓取海量文档作为输入源，并利用自回归或掩码预测任务来指导网络权重更新。例如 BERT 使用 Masked Language Modeling (MLM)，即随机遮蔽部分单词后要求恢复原貌；而 GPT 则依赖于 Next Sentence Prediction 和 Causal Language Modeling 来完成序列生成工作。 ```python from transformers import BertTokenizer, BertForMaskedLM import torch tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForMaskedLM.from_pretrained('bert-base-uncased') text = "Here is some text to encode" inputs = tokenizer(text, return_tensors='pt') outputs = model(**inputs) loss = outputs.loss logits = outputs.logits ``` #### 有监督参数微调 当完成了初步的知识积累之后，则进入到了更为精细的任务导向型调整——也就是所谓的“微调”。此时会引入带有标签的小规模领域内样本集合用于优化已有的通用表示向量空间，从而提高针对某一类具体应用场景下的性能指标表现。 在这个过程中，除了继续沿用之前定义好的基础框架外，还需要指定新的损失函数形式、评估标准以及其他超参配置项等内容。比如设置 `TrainingArguments` 类实例化对象时指明输出目录位置等细节操作[^2]： ```python from datasets import load_dataset from transformers import Trainer, DataCollatorWithPadding dataset = load_dataset('glue', 'mrpc') data_collator = DataCollatorWithPadding(tokenizer=tokenizer) training_args = TrainingArguments( output_dir='./results', evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset['train'], eval_dataset=dataset['validation'], data_collator=data_collator, tokenizer=tokenizer, ) trainer.train() ```