### 离线环境下使用 vLLM 框架通过 Docker 部署千问 3-4B 模型版本 在离线环境下部署模型需要特别注意依赖项的获取和镜像的准备。以下是针对 vLLM 框架部署千问 3-4B 模型版本的具体方法： #### 1. 准备工作 在离线环境中，Docker 镜像和相关依赖必须提前下载并传输到目标机器上。确保以下内容已准备好： - 已下载的 vLLM Docker 镜像。 - 千问 3-4B 模型权重文件（通常为 `.bin` 或 `.pt` 格式）。 - 模型配置文件（如 `config.json` 和其他必要文件）。 #### 2. 下载 vLLM Docker 镜像 在联网环境下执行以下命令以下载 vLLM 的官方 Docker 镜像，并将其保存为 tar 文件： ```bash docker pull vllm/vllm:latest docker save -o vllm_latest.tar vllm/vllm:latest ``` 将生成的 `vllm_latest.tar` 文件传输到离线环境。 #### 3. 加载 Docker 镜像 在离线环境中加载 Docker 镜像： ```bash docker load < vllm_latest.tar ``` #### 4. 准备模型文件 将千问 3-4B 模型的权重文件和配置文件放置在一个目录中，例如 `/path/to/model`。确保该目录结构符合 vLLM 的加载要求。 #### 5. 启动 Docker 容器 启动容器时挂载模型文件路径，并指定 GPU 资源（如果适用）。以下是一个示例命令： ```bash docker run --gpus all -it -p 8000:8000 \ -v /path/to/model:/model \ vllm/vllm:latest \ python serve.py --model-path /model --trust-remote-code ``` - `--gpus all`：启用所有可用的 GPU。 - `-p 8000:8000`：将容器的 8000 端口映射到主机的 8000 端口。 - `-v /path/to/model:/model`：挂载模型文件到容器内的 `/model` 目录。 - `python serve.py`：启动 vLLM 的服务端。 #### 6. 测试模型服务 通过 `curl` 命令测试模型服务是否正常运行： ```bash curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{"model":"Qwen/Qwen3-4B","prompt":"The future of AI is","max_tokens":5, "temperature":0}' | python3 -m json.tool ``` #### 注意事项 - 如果离线环境中缺少必要的 Python 库或其他依赖项，需提前在联网环境中安装这些依赖项并将它们打包到自定义的 Docker 镜像中[^3]。 - 确保模型文件的完整性和正确性，任何缺失或损坏的文件可能导致加载失败。 --- ###