### 使用 Python 和 AnythingLLM 训练 DeepSeek 模型的完整代码示例 以下是完整的代码示例，用于通过 Python 和 AnythingLLM 训练 DeepSeek 模型[^1]。该代码涵盖了从数据预处理到模型训练的全过程。 #### 1. 环境配置与依赖安装 在开始之前，请确保已安装以下依赖库： ```bash pip install transformers datasets torch anythingllm ``` #### 2. 数据预处理 加载并预处理训练数据集。以下代码展示了如何使用 Hugging Face 的 `datasets` 库来加载和标记化数据[^3]。 ```python from transformers import AutoTokenizer import datasets # 加载分词器 tokenizer = AutoTokenizer.from_pretrained("deepseek/r1-1.5b") # 加载数据集 dataset = datasets.load_dataset("common_crawl", split="train[:1%]") # 使用小部分数据进行测试 # 预处理函数 def preprocess_function(examples): return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512) # 应用预处理 tokenized_dataset = dataset.map(preprocess_function, batched=True) ``` #### 3. 模型加载与训练参数设置 加载预训练的 DeepSeek 模型，并定义训练参数。以下是具体实现代码[^1]。 ```python from transformers import AutoModelForCausalLM, Trainer, TrainingArguments # 加载预训练模型 model = AutoModelForCausalLM.from_pretrained("deepseek/r1-1.5b") # 设置训练参数 training_args = TrainingArguments( output_dir="./results", overwrite_output_dir=True, num_train_epochs=3, per_device_train_batch_size=4, save_steps=10_000, save_total_limit=2, learning_rate=3e-5, # 推荐的学习率[^3] ) # 初始化 Trainer trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_dataset, data_collator=lambda data: {"input_ids": [item["input_ids"] for item in data], "attention_mask": [item["attention_mask"] for item in data]}, ) ``` #### 4. 启动模型训练 调用 `Trainer.train()` 方法启动训练过程。 ```python # 开始训练 trainer.train() ``` #### 5. 推理与效果评估 训练完成后，可以通过 API 测试模型的效果。以下是一个简单的测试示例[^2]。 ```python import requests import json headers = { 'Content-Type': 'application/json', 'accept': 'application/json', 'Authorization': 'Bearer YOUR_API_KEY' } def test_model(message): url = 'http://localhost:3001/api/v1/workspace/mydemo/chat' data = json.dumps({"message": message, "mode": "chat"}) response = requests.post(url=url, json=data, headers=headers) dict_obj = response.json() resp_data = dict_obj.get('textResponse', 'No response') print(resp_data) if __name__ == '__main__': test_model("什么是聚苯乙烯（PS）？") ``` #### 性能优化技巧 - **启用 GPU 加速**：在 Ollama 启动时添加参数以利用 GPU 加速[^2]。 ```bash ollama serve --gpu ``` - **批量训练**：通过批量上传文档提高训练效率[^1]。 ```python import os def upload_documents(workspace_id, data_dir="./data"): for file in os.listdir(data_dir): upload_document(workspace_id, f"{data_dir}/{file}") ``` ---