### 使用 PyTorch 编写微调 DeepSeek1.5B 大语言模型的完整脚本示例 以下是一个完整的脚本示例，用于通过 LoRA 技术微调 DeepSeek1.5B 模型。此脚本涵盖了数据处理、模型加载、LoRA 配置以及训练循环的核心部分。 --- #### 导入必要的库 首先导入所需的 Python 和 PyTorch 库： ```python import torch from datasets import load_dataset from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, TaskType ``` --- #### 加载预训练模型和分词器 使用 Hugging Face 提供的接口加载 DeepSeek1.5B 模型及其对应的分词器： ```python model_name = "deepseek/lm_1.5b" # 替换为实际的模型名称或路径 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16).to("cuda") ``` 此处加载的是 DeepSeek1.5B 模型，并将其放置在 GPU 设备上以加速计算[^2]。 --- #### 数据准备 加载并预处理训练数据集。假设我们使用一个简单的文本生成任务数据集（如 `wikitext`），并对每条样本进行 tokenization： ```python def preprocess_function(examples): return tokenizer(examples["text"], padding="max_length", truncation=True, max_length=512) dataset = load_dataset("wikitext", "wikitext-2-v1") # 可替换为你自己的数据集 tokenized_datasets = dataset.map(preprocess_function, batched=True) ``` 上述代码将原始文本转换为 token ID 列表，并截断至最大长度 512[^3]。 --- #### 配置 LoRA 参数 定义 LoRA 的超参数配置，以便只更新少量新增的小矩阵而不是整个权重矩阵： ```python lora_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, # 控制秩大小，默认值为 8 lora_alpha=32, # 控制缩放因子，默认值为 32 lora_dropout=0.1 # 控制 dropout 概率，默认值为 0.1 ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() ``` 这段代码设置了 LoRA 的具体参数，并打印出哪些参数是可以被训练的[^4]。 --- #### 设置训练参数 定义训练过程中使用的超参数和其他设置： ```python training_args = TrainingArguments( output_dir="./results", evaluation_strategy="steps", eval_steps=500, save_steps=500, per_device_train_batch_size=1, gradient_accumulation_steps=8, learning_rate=1e-4, num_train_epochs=3, weight_decay=0.01, logging_dir="./logs", logging_steps=10, fp16=True, # 或者使用 bf16=True 如果硬件支持 report_to="tensorboard" ) ``` 这些参数控制了训练的行为，例如批量大小、学习率、日志记录频率等[^4]。 --- #### 初始化 Trainer 并启动训练 创建 `Trainer` 对象并将所有组件组合在一起： ```python trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets["train"], eval_dataset=tokenized_datasets["validation"], data_collator=lambda data: { "input_ids": torch.stack([item["input_ids"] for item in data]), "attention_mask": torch.stack([item["attention_mask"] for item in data]), "labels": torch.stack([item["input_ids"] for item in data]) # 自回归任务中 labels 即为 input_ids } ) trainer.train() ``` 这里的 `Trainer` 将负责管理整个训练过程，包括前向传播、反向传播以及保存检查点等功能[^4]。 --- #### 测试微调后的模型 完成训练后，可以测试一下微调后的模型效果： ```python prompt = "Once upon a time," input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to("cuda") with torch.no_grad(): generated_tokens = model.generate(input_ids, max_new_tokens=50) print(tokenizer.decode(generated_tokens[0], skip_special_tokens=True)) ``` 此代码片段演示了如何基于给定提示生成新的文本内容[^3]。 --- ###