### 确保 Docker 容器使用的 GPU 卡由 nvidia-device-plugin 插件发现并上报给 Kubernetes 要确保 Docker 容器能够正确使用由 nvidia-device-plugin 发现并上报至 Kubernetes 的 GPU 资源，需遵循以下配置和验证过程。 #### 1. 部署 nvidia-device-plugin nvidia-device-plugin 是以 DaemonSet 形式部署到 Kubernetes 集群中的。其作用是将节点上的 GPU 设备作为可调度资源暴露出来，并向 Kubernetes 提供这些设备的状态信息[^1]。以下是标准的部署命令： ```bash kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/1.0.0-beta4/nvidia-device-plugin.yml ``` 此命令会创建一个名为 `nvidia-device-plugin` 的 DaemonSet，在每个启用 GPU 的节点上运行插件实例[^2]。 #### 2. 验证 nvidia-device-plugin 正常工作 在成功部署后，可通过以下方法验证 nvidia-device-plugin 是否正常工作以及是否已将 GPU 资源注册到 Kubernetes 中： - 查看 DaemonSet 状态： ```bash kubectl --namespace=kube-system get daemonsets nvidia-device-plugin ``` - 检查 Pod 运行状况： ```bash kubectl --namespace=kube-system get pods | grep nvidia-device-plugin ``` - 获取节点详情，确认 GPU 资源是否可见： ```bash kubectl describe node <node-name> ``` 输出中应包含类似如下条目，表明该节点有可用的 GPU 资源： ``` Capacity: ... nvidia.com/gpu: X ``` 此处 `X` 表示节点上实际可用的 GPU 数量[^4]。 #### 3. 配置 Docker 使用 nvidia-container-runtime 为了让容器能透明地访问主机上的 GPU 资源，必须安装并配置 `nvidia-container-runtime` 或者 `nvidia-docker2`。具体步骤如下： - **安装 NVIDIA 驱动程序**：确保所有 GPU 节点均已安装兼容版本的 NVIDIA 驱动程序（建议版本 >= 384.81）[^1]。 - **安装 nvidia-docker2 和 nvidia-container-toolkit**： ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - sudo apt-get update && sudo apt-get install -y nvidia-docker2 ``` - **设置默认运行时为 nvidia-container-runtime**： 编辑 `/etc/docker/daemon.json` 文件，添加或修改以下内容： ```json { "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": [] } }, "default-runtime": "nvidia" } ``` - **重启 Docker 服务**： ```bash sudo systemctl restart docker ``` 完成以上步骤后，默认情况下新启动的所有容器都将使用 `nvidia-container-runtime` 来处理 GPU 支持需求[^5]。 #### 4. 创建带 GPU 请求的 Pod 定义一个 YAML 文件来描述需要 GPU 的 Pod，其中指定所需的 GPU 数量。例如： ```yaml apiVersion: v1 kind: Pod metadata: name: cuda-vector-add spec: containers: - name: vector-add image: nvidia/cuda:12.0.1-base-ubuntu22.04 resources: limits: nvidia.com/gpu: 1 # Requesting one GPU command: ["sleep", "infinity"] ``` 在这个例子中，`resources.limits.nvidia.com/gpu: 1` 明确指定了这个 Pod 将消耗一块 GPU 资源[^4]。 #### 5. 验证容器内部的 GPU 访问情况 最后一步是在容器内验证 GPU 的分配是否正确无误。可以通过执行以下命令进入正在运行的容器，并调用 `nvidia-smi` 命令查看具体的 GPU 列表及其状态： ```bash docker exec -it <container-id> bash root@<container-id># nvidia-smi ``` 如果一切顺利，则只会显示出当前容器独占的那一张或多张特定 GPU 的详细信息[^3]。 --- ###