### 在离线环境中使用 Docker 和 vLLM 0.7.2 框架部署通义千问3-4B模型的方法 #### ### 环境准备 确保目标系统满足以下条件： - 安装 Docker 引擎，版本需支持 GPU 加速[^2]。 - 配置 NVIDIA 驱动程序和 CUDA 工具链以支持 GPU 计算[^2]。 #### ### 模型文件准备 在离线环境中部署模型前，需要提前将模型文件下载到本地。对于通义千问3-4B模型，可以使用以下命令在联网环境中下载模型文件，并将其传输到离线环境： ```bash modelscope download --model Qwen3-4B --local_dir /path/to/save ``` 下载完成后，将模型文件夹 `/path/to/save/Qwen3-4B` 复制到离线环境的目标路径中[^1]。 #### ### Docker 镜像定制 由于离线环境无法直接从互联网拉取镜像，需要在联网环境中预先构建并导出包含所有依赖的 Docker 镜像。以下是构建镜像的步骤： 1. **创建 Dockerfile** 编写一个 Dockerfile 来定义容器环境： ```dockerfile FROM nvidia/cuda:11.8.0-base-ubuntu20.04 # 设置工作目录 WORKDIR /app # 安装基础依赖 RUN apt-get update && \ apt-get install -y --no-install-recommends \ python3-pip python3-dev git && \ apt-get clean && rm -rf /var/lib/apt/lists/* # 安装 Python 依赖 COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt # 复制模型文件到容器中 RUN mkdir /models COPY models/Qwen3-4B /models/Qwen3-4B # 安装 vLLM RUN pip3 install vllm==0.7.2 ``` 2. **构建镜像** 使用以下命令构建镜像，并将其保存为 tar 文件以便传输到离线环境： ```bash docker build -t vllm-qwen3-4b:0.7.2 . docker save -o vllm-qwen3-4b.tar vllm-qwen3-4b:0.7.2 ``` 3. **加载镜像到离线环境** 将 `vllm-qwen3-4b.tar` 文件复制到离线环境，并加载镜像： ```bash docker load < vllm-qwen3-4b.tar ``` #### ### 部署服务 在离线环境中运行容器并启动 vLLM 服务。以下是配置和启动的详细信息： 1. **编写 Docker Compose 文件** 创建一个 `docker-compose.yml` 文件来定义服务： ```yaml version: '3' services: vllm: container_name: vllm image: vllm-qwen3-4b:0.7.2 ipc: host volumes: - ./models:/models command: ["vllm", "serve", "/models/Qwen3-4B", "--served-model-name", "qwen3-4b", "--gpu-memory-utilization", "0.90", "--max-model-len", "8192"] ports: - "8000:8000" deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ``` 2. **启动服务** 使用以下命令启动服务： ```bash docker-compose up -d ``` #### ### 测试服务 服务启动后，默认会监听 `http://localhost:8000`。可以使用以下代码测试 API 接口： ```python import requests url = "http://localhost:8000/v1/completions" payload = { "model": "qwen3-4b", "prompt": "你好，世界！", "max_tokens": 50, "temperature": 0.7, "top_p": 0.9 } response = requests.post(url, json=payload) print(response.json()) ``` --- ####