### 如何在 Python 中调用和运行 Ubuntu 系统中已安装的 vLLM 库 要在 Python 中调用并运行已安装到 Ubuntu 系统中的 vLLM 库，需要确保以下条件已经满足： - 已正确安装 vLLM 和其依赖项。 - 确保系统中有可用的 GPU，并且驱动程序和 CUDA 配置正确[^1]。 - 已经通过 `vllm serve` 或类似命令启动了模型服务[^2]。 以下是具体实现方法： #### 1. 使用 vLLM 的 Python API vLLM 提供了一个 Python API，可以直接从 Python 脚本中调用模型。以下是一个示例代码，展示如何使用 vLLM 的 Python API 来加载和运行模型： ```python from vllm import LLM, SamplingParams # 初始化模型 model = LLM(model="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B", tensor_parallel_size=2, dtype="half") # 设置采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 输入提示 prompt = "Write a short story about a magical forest." # 生成文本 outputs = model.generate([prompt], sampling_params) # 打印输出结果 for output in outputs: print(output.text) ``` 上述代码会加载指定的 DeepSeek 模型，并根据输入提示生成文本。 #### 2. 调用已启动的服务 如果已经通过命令行启动了 vLLM 的服务（例如 `vllm serve`），可以通过 HTTP 请求从 Python 脚本中调用该服务。以下是一个示例代码，展示如何通过 `requests` 库与 vLLM 服务交互： ```python import requests # 定义请求数据 data = { "prompt": "Explain the concept of artificial intelligence.", "n": 1, "use_beam_search": False, "temperature": 0.7, "top_p": 0.9, "max_tokens": 512 } # 发送 POST 请求 response = requests.post("http://localhost:8000/generate", json=data) # 解析响应 if response.status_code == 200: result = response.json() print(result["text"]) else: print(f"Error: {response.status_code}, {response.text}") ``` 此代码假设 vLLM 服务运行在 `localhost:8000`，并且可以接受 JSON 格式的请求数据。 #### 3. 注意事项 - 如果使用 GPU，请确保系统中的 CUDA 和 cuDNN 版本与 vLLM 兼容[^1]。 - 在运行 Python 脚本之前，确认所有必要的环境变量（如 `CUDA_VISIBLE_DEVICES`）已正确设置。