### 调用 Docker 中 vLLM 模型的方法 为了调用在 Docker 容器中运行的 vLLM 模型，通常会使用 HTTP 请求的方式与 FastAPI 或其他 Web 框架集成的服务交互。以下是实现这一目标的具体方法以及代码示例。 #### 方法概述 当 vLLM 配合 FastAPI 使用时，可以通过发送 POST 请求来传递输入数据并接收模型生成的结果。此过程涉及以下几个部分： 1. **启动容器化服务** 确保已成功构建并运行包含 vLLM 和 FastAPI 的 Docker 容器，并暴露相应的端口用于外部访问[^1]。 2. **定义请求结构** 输入应遵循 API 文档中的指定格式，一般包括待处理文本或其他参数（如最大长度、温度等）。这些字段需被序列化为 JSON 格式以便传输。 3. **发起 HTTP 请求** 利用 Python 的 `requests` 库或者任何支持 RESTful 协议的语言工具向宿主机上的特定 URL 发送指令。 4. **解析返回结果** 接收到服务器响应后提取所需信息完成后续操作。 下面展示了一个完整的客户端侧例子说明如何连接到远程实例执行推理任务。 ```python import requests def query_vllm_model(prompt, max_length=50, temperature=1.0): url = "http://localhost:8000/generate" # 假设本地部署且监听于该地址路径下 payload = { "prompt": prompt, "max_tokens": max_length, "temperature": temperature } headers = {'Content-Type': 'application/json'} response = requests.post(url, json=payload, headers=headers) if response.status_code == 200: result = response.json() return result["generated_text"] else: raise Exception(f"Request failed with status {response.status_code}: {response.text}") if __name__ == "__main__": try: output = query_vllm_model("Once upon a time", max_length=100, temperature=0.7) print(output) except Exception as e: print(e) ``` 上述脚本展示了怎样构造一个函数去调用基于 vLLM 构建的服务接口。注意替换实际使用的 endpoint 地址以匹配自己的环境配置情况。 --- ###