docker运行vllm

### 构建 VLLM Docker 镜像为了在 ROCm 上运行 vLLM，需要先克隆 vLLM 的 GitHub 存储库，并使用特定的 Dockerfile 来构建镜像。这可以通过以下命令完成： ```bash git clone https://github.com/vllm-project/vllm.git cd vllm DOCKER_BUILDKIT=1 docker build -f Dockerfile.rocm -t vllm-rocm . ``` 此过程可能会花费较长时间，具体取决于系统性能和网络状况[^2]。 ### 启动 VLLM 容器并执行服务一旦成功创建了 Docker 镜像 `vllm-rocm`，可以启动容器并通过交互式 shell 执行 vLLM 服务。以下是实现这一目标的方法： ```bash docker run --name vllm-container -d vllm-rocm docker exec -it vllm-container /bin/bash ``` 进入容器内部之后，可利用如下指令来启动分布式推理服务： ```bash vllm serve /root/.cache/huggingface/ --tensor-parallel-size 1 --pipeline-parallel-size 1 ``` 上述配置参数指定了张量并行度和管道并行度均为1，适用于单节点部署场景[^3]。 ### 使用自定义 Dockerfile 进行构建如果希望调整默认设置或者集成其他依赖项，则可以在本地准备一个定制化的 Dockerfile 文件用于构建。例如，在构建过程中指定不同的基础镜像或其他环境变量等特性[^1]。 ```python print("注意：以上操作均需确保宿主机已安装Docker及相关驱动程序") ```

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 django_bootstrap5

目录

docker运行vllm

Python内容推荐

Docker部署vLLM指南[可运行源码]

一个专为VLLM超大规模语言模型服务设计的自动化测试工具_该工具通过Docker容器技术实现模型服务的全生命周期管理_包括自动启动运行监控健康检查日志收集和智能关闭_支持.zip

使用 Docker 部署 vLLM 以运行 Qwen2-0.5B 模型的学习指南

VLLM镜像部署报错解决[项目源码]

Docker安装分布式vLLM[源码]

Docker部署vLLM大模型[源码]

Docker+vLLM部署Qwen3教程[项目代码]

VLLM容器运行指南[项目源码]

Windows下vllm安装指南[项目源码]

Docker+VLLM部署指南[项目源码]

Docker部署VLLM-Qwen3[代码]

vllm-openai部署指南[源码]

Windows部署vllm指南[项目代码]

K8s部署vLLM指南[可运行源码]

Windows部署VLLM容器[代码]

Qwen3 32B vLLM部署教程[可运行源码]

零基础实战：用 Docker 和 vLLM 本地部署 BGE-M3 文本嵌入模型.pdf

vLLM部署PaddleOCR-VL教程[代码]

vllm部署Qwen2.5模型[源码]

vLLM多机多卡部署[项目源码]

Python ADF 单位根检验 如何查看结果的实现

数据平稳性ADF检验（基于Python编程语言实现）

使用python实现时间序列白噪声检验方式

学生成绩管理系统C++课程设计与实践

别再手动拖拽了！用Lumerical脚本批量创建FDTD仿真结构（附完整代码）

Java邮件解析任务中，如何安全高效地提取HTML邮件内容并避免硬编码、资源泄漏和类型转换异常？

RH公司应收账款管理优化策略研究

新手别慌！用BingPi-M2开发板带你5分钟搞懂Tina Linux SDK目录结构

Java线程池运行时状态怎么实时掌握？有哪些靠谱的监控手段？

桌面工具软件项目效益评估及市场预测分析

Python ADF 单位根检验如何查看结果的实现