### 配置Docker以使Ollama利用GPU运行 为了确保Ollama能够在Ubuntu系统上通过Docker充分利用GPU资源，需要完成以下几个方面的设置： #### 安装NVIDIA驱动程序和CUDA支持 在配置之前，必须确认主机已经安装了最新的NVIDIA GPU驱动程序以及相应的CUDA版本。这可以通过以下命令实现： ```bash sudo apt-get update sudo apt-get install -y nvidia-driver-<version> ``` 其中 `<version>` 是具体的驱动版本号[^1]。 #### 安装NVIDIA容器工具包 为了让Docker能够识别并使用NVIDIA GPU，需安装NVIDIA容器工具包。执行以下命令可以完成这一过程： ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 上述脚本会自动更新APT源列表，并重启Docker服务以应用更改。 #### 构建带有GPU支持的Docker镜像 创建一个`Dockerfile`用于定义环境需求，在此文件中指定基础镜像为支持CUDA的官方Python或者TensorFlow/PyTorch镜像之一。例如： ```dockerfile FROM nvcr.io/nvidia/pytorch:23.07-py3 RUN pip install ollama transformers torch COPY . . CMD ["ollama", "--help"] ``` 接着按照常规流程构建自定义镜像并与之交互： ```bash docker build -t deepseek-ollama-gpu . docker run --gpus all -it deepseek-ollama-gpu bash ``` 这里的关键参数 `--gpus all` 告诉Docker分配所有的可用GPU给当前容器实例[^2]。 #### 测试Ollama是否成功启用GPU加速 进入正在运行中的容器内部后，尝试加载预训练模型并通过简单的推理测试其性能表现。如果一切正常，则应该可以看到明显的速度提升效果。 ```bash docker exec -it <container_id> /bin/bash ollama model list ``` 最后一步是验证实际计算过程中是否有调用到GPU硬件设备[^3]。 ---