### 在离线环境中使用 Docker 和 vLLM 0.7.2 框架部署千问3模型的方法 #### ### 环境准备 确保目标系统满足以下条件： - 安装 Docker 引擎，版本需支持 GPU 加速[^3]。 - 配置 NVIDIA 驱动程序和 CUDA 工具链以支持 GPU 计算[^3]。 #### ### Docker 镜像定制 由于离线环境无法直接从互联网拉取镜像，需要在联网环境中预先构建并导出包含所有依赖的 Docker 镜像。以下是构建镜像的步骤： 1. **创建 Dockerfile** 编写一个 Dockerfile 来定义容器环境： ```dockerfile FROM nvidia/cuda:11.8.0-base-ubuntu20.04 # 设置工作目录 WORKDIR /app # 安装基础依赖 RUN apt-get update && \ apt-get install -y --no-install-recommends \ python3-pip python3-dev git && \ apt-get clean && rm -rf /var/lib/apt/lists/* # 安装 Python 依赖 COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt # 复制模型文件到容器中 RUN mkdir /models COPY models/Qwen3 /models/Qwen3 # 安装 vLLM RUN pip3 install vllm==0.7.2 ``` 2. **构建镜像** 使用以下命令构建镜像，并将其保存为 tar 文件以便传输到离线环境： ```bash docker build -t vllm-qwen3:0.7.2 . docker save -o vllm-qwen3.tar vllm-qwen3:0.7.2 ``` 3. **加载镜像到离线环境** 将 `vllm-qwen3.tar` 文件复制到离线环境，并加载镜像： ```bash docker load < vllm-qwen3.tar ``` #### ### 部署服务 在离线环境中运行容器并启动 vLLM 服务。以下是配置和启动的详细信息： 1. **编写 Docker Compose 文件** 创建一个 `docker-compose.yml` 文件来定义服务： ```yaml version: '3' services: vllm: container_name: vllm image: vllm-qwen3:0.7.2 ipc: host volumes: - ./models:/models command: ["vllm", "serve", "/models/Qwen3", "--served-model-name", "qwen3-4b", "--gpu-memory-utilization", "0.90", "--max-model-len", "8192"] ports: - "8000:8000" deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ``` 2. **启动服务** 使用以下命令启动服务： ```bash docker-compose up -d ``` #### ### 测试服务 服务启动后，默认会监听 `http://localhost:8000`。可以使用以下代码测试 API 接口： ```python import requests url = "http://localhost:8000/v1/completions" payload = { "model": "qwen3-4b", "prompt": "你好，世界！", "max_tokens": 50, "temperature": 0.7, "top_p": 0.9 } response = requests.post(url, json=payload) print(response.json()) ``` --- ####