### 使用 Docker 部署 Qwen 模型的步骤 在使用 Docker 部署 Qwen 模型时，首先需要明确是否需要拉取 ollama 镜像。ollama 是一个支持多种大语言模型的运行环境，而 Qwen 是通义千问系列模型的一部分。如果目标是部署 Qwen 模型，则需要根据具体需求选择是否依赖 ollama。 以下是详细的步骤说明： #### 1. 确定是否需要 ollama - 如果计划通过 ollama 来运行 Qwen 模型，则需要先拉取 ollama 的镜像[^2]。 - 如果直接使用 vLLM 或其他框架来部署 Qwen 模型，则无需拉取 ollama 镜像，而是直接拉取 vLLM 的镜像[^1]。 #### 2. 拉取相关镜像 - **拉取 ollama 镜像**（如果需要）： ```bash docker pull ollama/ollama ``` - **拉取 vLLM 镜像**（如果不需要 ollama）： ```bash docker pull vllm/vllm-openai:latest ``` 如果由于网络问题无法拉取官方镜像，可以尝试以下国内自建镜像仓库之一[^1]： - https://docker.1panel.live - https://docker.agsv.top - https://dockerpull.com #### 3. 下载 Qwen 模型 - 如果选择使用 ollama，则需要下载 Qwen 模型并存储到本地。可以通过以下命令完成： ```bash docker run --rm -v ollama:/root/.ollama ollama/ollama fetch Qwen2-7B-Instruct ``` - 如果使用 vLLM，则需要将 Qwen 模型文件放置到指定路径，并配置 vLLM 的启动参数[^1]。 #### 4. 启动容器 - **启动 ollama 容器**（如果需要）： ```bash docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama ``` - **启动 vLLM 容器**（如果不需要 ollama）： ```bash docker run -d --gpus=all -p 8000:8000 vllm/vllm-openai:latest ``` #### 5. 测试服务 - 如果使用 ollama，可以通过以下命令测试 Qwen 模型： ```bash curl http://localhost:11434 -X POST -H "Content-Type: application/json" -d '{"model":"Qwen2-7B-Instruct","prompt":"Hello, how are you?","max_tokens":100}' ``` - 如果使用 vLLM，可以通过以下命令测试服务： ```bash curl http://localhost:8000/v1/completions -X POST -H "Content-Type: application/json" -d '{"model":"Qwen2-7B-Instruct","prompt":"Hello, how are you?","max_tokens":100}' ``` ### 注意事项 - 如果计划使用 GPU 加速，则需要确保 Docker 已正确安装 NVIDIA 驱动和 CUDA 支持，并在启动容器时添加 `--gpus=all` 参数。 - 在选择镜像仓库时，请优先使用官方镜像，仅在网络受限时考虑使用国内自建镜像仓库[^1]。