### 不同大模型协议的 Python 请求示例及微调后支持方法 以下展示了针对 Ollama 协议、OpenAI 协议以及其他常见大模型协议的 Python 代码示例，以及在微调模型后如何确保继续支持这些协议的方法。 --- #### 1. **Ollama 协议** Ollama 使用 WebSocket 实现流式传输。可以通过 `websocket-client` 库与 Ollama 服务器建立连接并发送请求。 ```python import websocket try: import thread except ImportError: import _thread as thread import time import json def on_message(ws, message): print(f"Received: {message}") def on_error(ws, error): print(error) def on_close(ws, close_status_code, close_msg): print("Connection closed") def on_open(ws): def run(*args): request_data = { "model": "llama2", "prompt": "What is the capital of France?", "stream": True } ws.send(json.dumps(request_data)) time.sleep(1) ws.close() thread.start_new_thread(run, ()) if __name__ == "__main__": websocket.enableTrace(True) ws = websocket.WebSocketApp( "ws://localhost:11434/api/generate", on_message=on_message, on_error=on_error, on_close=on_close ) ws.on_open = on_open ws.run_forever() ``` 此代码通过 WebSocket 向 Ollama 发送请求，并处理返回的数据流[^3]。 --- #### 2. **OpenAI 协议** OpenAI 提供 RESTful API 接口，可以使用 `requests` 库轻松实现请求。 ```python import os import openai openai.api_key = "YOUR_OPENAI_API_KEY" response = openai.Completion.create( engine="text-davinci-003", prompt="What is the capital of France?", max_tokens=50 ) print(response.choices[0].text.strip()) ``` 这段代码向 OpenAI 的 davinci 模型发送了一个完成任务请求，并打印生成的结果[^2]。 --- #### 3. **Hugging Face 协议** Hugging Face 支持通过其 Inference API 进行在线推理，也可以加载本地模型进行预测。 ##### （a）通过 Hugging Face Inference API ```python import requests API_URL = "https://api-inference.huggingface.co/models/meta-llama/Llama-2-7b-chat-hf" headers = {"Authorization": "Bearer YOUR_HF_ACCESS_TOKEN"} data = {"inputs": "What is the capital of France?"} response = requests.post(API_URL, headers=headers, json=data) result = response.json() print(result["generated_text"]) ``` ##### （b）通过本地模型 ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf") model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf", torch_dtype=torch.bfloat16).to("cuda") input_ids = tokenizer.encode("What is the capital of France?", return_tensors="pt").to("cuda") output = model.generate(input_ids=input_ids, max_length=50) print(tokenizer.decode(output[0], skip_special_tokens=True)) ``` 这两段代码分别展示了通过远程 API 和本地模型的方式进行推理[^4]。 --- #### 4. **微调后保持协议支持** 微调后的模型需要经过一系列调整以确保仍然支持原有的协议： - **抽象层设计**：创建一个统一的接口层，无论底层模型是否发生变化，该接口都能屏蔽复杂性并向外提供一致的服务行为[^1]。 - **版本控制**：每次更新或替换模型时，保留旧版接口以便平滑过渡。新老版本之间可通过配置文件动态切换。 - **全面测试**：对每种协议下的所有可能输入情况进行详尽测试，确保不会因微调引入新的错误或不兼容问题。 例如，在 PyTorch 中保存和加载微调后的模型时，需注意设备转移逻辑： ```python import torch from pyreft import ReftModel # 加载基础模型 base_model = transformers.AutoModelForCausalLM.from_pretrained( "meta-llama/Meta-Llama-3-8B", torch_dtype=torch.bfloat16, device_map="cuda" ) # 准备 reft 模型 reft_model = ReftModel.load("Syed-Hasan-8503/Llama-3-openhermes-reft", base_model, from_huggingface_hub=True) reft_model.set_device("cuda") # 将模型转移到 CUDA 设备上运行 ``` 上述代码片段展示了如何加载微调后的模型并将其设置为 GPU 上的工作状态[^1]。 --- ###