### 加载和使用 DeepSeek-R1 语言模型 要在 Python 中加载并使用 DeepSeek-R1 模型，可以按照以下方法操作。此过程涉及安装必要的库、加载预训练模型以及执行推理。 #### 安装依赖项 为了成功加载和使用 DeepSeek-R1 模型，需要先安装 `unsloth` 库以及其他可能的依赖项。可以通过 pip 来完成这一任务： ```bash pip install unsloth transformers accelerate bitsandbytes torch ``` 这些库分别提供模型加载功能[^1]、分词工具支持[^4]和其他加速技术的支持。 #### 加载模型与分词器 以下是加载 DeepSeek-R1 模型及其对应分词器的具体代码实现： ```python from unsloth import FastLanguageModel model, tokenizer = FastLanguageModel.from_pretrained( model_name="unsloth/DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit", max_seq_length=2048, dtype=None, load_in_4bit=True ) ``` 这段代码利用了 `FastLanguageModel` 类中的静态方法 `from_pretrained()`，从而能够快速初始化指定名称下的预训练模型实例，并设置最大序列长度为 2048 和启用 4-bit 的量化模式以节省内存资源消耗[^1]。 #### 执行推理 当模型被正确加载之后，下一步便是对其进行实际输入数据上的预测或生成新内容的任务——也就是所谓的“推理”。下面展示了一个简单的例子说明如何基于给定提示生成后续文本片段： ```python alpaca_prompt = "{instruction}\nInput:\n{input_text}\nOutput:\n" # 准备输入数据 prompt_input = alpaca_prompt.format("Continue the Fibonacci sequence.", "1,1,2,3,5,8") # 将字符串转换成张量形式供 GPU 使用 inputs = tokenizer(prompt_input, return_tensors="pt").to("cuda") # 调用 generate 方法生成新的 token 并解码回原始字符表示 with model.as_inferencer(): outputs = model.generate(**inputs, max_new_tokens=64, use_cache=True) result = tokenizer.batch_decode(outputs)[0] print(result) ``` 这里定义了一个名为 `alpaca_prompt` 的模板字符串用来构造具体的指令描述；随后通过该模板填充具体数值形成完整的查询语句；再经由 Tokenizer 对其编码成为适合神经网络接受的形式；最后调用了模型对象自带的 `.generate()` 接口完成最终的结果产出工作流程[^4]。 以上就是在 Python 环境下加载及应用 DeepSeek-R1 大规模语言模型的一个完整示例介绍。