### Docker 中 NVIDIA 驱动安装后 GPU 未被识别的排查 当在 Docker 容器中配置并启用 NVIDIA GPU 支持时，如果容器无法正确识别 GPU，则可能是由于以下几个原因引起的： #### 1. **nvidia-container-toolkit 的版本兼容性** 确保 `nvidia-container-runtime` 或者 `nvidia-container-toolkit` 已经正确安装，并且其版本与主机上的 NVIDIA 驱动程序匹配。如果不一致可能会导致 GPU 不可用的情况[^1]。 ```bash dpkg -l | grep nvidia-container-toolkit ``` 通过以上命令可以查看当前工具包的具体版本号以及状态是否正常。 #### 2. **Docker Daemon 配置文件设置** 确认 `/etc/docker/daemon.json` 文件中有如下内容来支持 GPU 加速功能[^2]: ```json { "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": [] } }, "default-runtime": "nvidia" } ``` 此配置使得默认运行环境切换到基于 NVIDIA 提供的支持 GPU 功能的 runtime 上去。 #### 3. **启动参数验证** 检查启动容器时使用的选项是否包含了必要的标志位用于加载 GPU 资源。例如，在创建新容器的时候应该加入 `--gpus all` 参数[^3]: ```bash docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi ``` 这条指令会尝试在一个临时容器内部执行 `nvidia-smi` 命令以检测是否有任何 CUDA 设备在线工作。 #### 4. **权限问题** 有时即使所有软件层面都已妥善处理完毕，但由于 Linux 系统级的安全策略 (SELinux/AppArmor)，仍可能阻止访问硬件资源。此时需调整安全模块规则或者干脆关闭它们以便测试效果如何变化[^4]。 对于 SELinux 用户来说，可以通过修改布尔值允许 docker 使用设备节点: ```bash setsebool -P container_use_nfs on ``` 而对于 AppArmor 则需要编辑对应 profile 并重新载入生效。 --- 以下是几个常见错误消息及其解决方案摘要表： | 错误描述 | 可能的原因 | 解决方法 | |---------------------------------------------------------------------------------------------|--------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------| | Error response from daemon: OCI runtime create failed... | 缺少适当的权利授予给进程 | 如前所述, 检查 selinux/apparmor 设置; 同时也要保证用户属于 `docker` 组里 | | Could not load library libcudart.so or similar | CUDART 库路径缺失 | 将 cuda toolkit 添加至 LD_LIBRARY_PATH 环境变量之中；另外也可以考虑把整个 /usr/local/cuda/lib64 映射进容器 | | No devices were found | 驱动版本太低 | 更新显卡驱动直至最新稳定版 | --- ### 示例代码片段展示如何调试 NVIDA-SMI 输出日志 下面提供一段简单的 Python 脚本用来捕获来自远程服务器端口转发后的 SMI 数据流，并将其保存成本地 CSV 文件形式存档下来便于后续分析使用。 ```python import subprocess from datetime import datetime def capture_smi_logs(interval=60): timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") filename = f"gpu_usage_{timestamp}.csv" with open(filename, 'w') as file: while True: try: result = subprocess.run(['nvidia-smi', '--query-gpu=index,name,memory.used,memory.total', '--format=csv'], stdout=subprocess.PIPE) output = result.stdout.decode('utf-8') file.write(output) print(f"{output.strip()} written to {filename}") time.sleep(interval) except KeyboardInterrupt: break if __name__ == "__main__": capture_smi_logs() ```