### 安装配置Docker、Ollama和NVIDIA驱动及CUDA #### 一、安装NVIDIA显卡驱动程序 为了使Ubuntu能够识别并充分利用NVIDIA GPU的功能，需先安装对应的显卡驱动程序。这一步骤至关重要，因为后续的组件依赖于该驱动来实现硬件级别的交互和支持。 ```bash sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get update sudo apt install nvidia-driver-<version> ``` 重启计算机以加载新的内核模块[^2]。 #### 二、安装Docker引擎 接下来，在Ubuntu上设置Docker环境。通过官方渠道获取最新版本的Docker Engine，并对其进行基本配置： ```bash # 更新APT包索引并安装必要的软件包允许APT通过HTTPS使用仓库 sudo apt-get update sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release # 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 设置稳定版存储库 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 再次更新APT包索引 sudo apt-get update # 安装最新的Docker Engine版本和其他工具 sudo apt-get install docker-ce docker-ce-cli containerd.io ``` 为了让当前用户无需root权限即可操作Docker命令，执行如下指令加入`docker`组： ```bash sudo groupadd docker sudo usermod -aG docker $USER newgrp docker ``` 优化国内镜像源加速下载速度： ```json { "registry-mirrors": ["https://3ydrafq1.mirror.aliyuncs.com"] } ``` 保存至`/etc/docker/daemon.json`文件中，随后重载守护进程和服务状态： ```bash sudo systemctl daemon-reload sudo systemctl restart docker ``` #### 三、安装NVIDIA Container Toolkit 完成上述准备工作之后，继续安装专门用于处理GPU相关事务的NVIDIA容器工具套件。此步骤确保可以在基于Linux的操作系统之上创建具有GPU支持能力的隔离工作空间——即所谓的“容器”。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 验证安装是否成功以及能否正常调用GPU设备： ```bash docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi ``` 如果一切顺利，则会显示有关已连接到系统的NVIDIA GPU的信息列表[^1]。 #### 四、部署Ollama服务 最后一步是构建或拉取包含所需AI模型及其依赖项在内的Docker映像，并启动相应的服务实例。假设已经有一个现成的支持GPU运算的任务定义文件（如`docker-compose.yml`)，那么只需简单地运行以下命令就可以轻松搞定整个过程了！ ```yaml services: ollama_service: image: 'ollama_image_name' deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: ['gpu'] ``` 将上面的内容写入名为`docker-compose.yml`的YAML格式描述文档里；接着在同一目录下输入`docker-compose up -d`让后台自动按照指定参数去创建工作节点并保持其持续在线运转[^3]。