### 非 Docker 安装的 Ollama 使用 GPU 加速条件和配置方法 非通过 Docker 安装的 Ollama 服务同样可以使用 GPU 加速，但需要满足特定的硬件和软件环境要求，并进行正确的配置。 #### 硬件和软件要求 1. **支持 CUDA 的 NVIDIA GPU**：Ollama 的 GPU 加速依赖于 NVIDIA 的 CUDA 技术，因此必须确保服务器上安装了支持 CUDA 的 NVIDIA 显卡。 2. **NVIDIA 驱动程序**：服务器需要安装与 GPU 兼容的 NVIDIA 驱动程序。可以通过以下命令检查驱动版本： ```bash nvidia-smi ``` 如果命令成功执行并返回显卡信息，则说明驱动已正确安装[^1]。 3. **CUDA 工具包**：系统中需要安装与 NVIDIA 驱动兼容的 CUDA 工具包。可以通过以下命令安装： ```bash sudo apt-get install -y nvidia-cuda-toolkit ``` #### 配置步骤 1. **验证 GPU 可用性**：在安装 Ollama 之前，确保 GPU 已被系统识别且 CUDA 环境正常工作。运行以下命令测试 CUDA 是否可用： ```bash nvcc --version ``` 如果命令返回 CUDA 版本信息，则说明环境配置正确[^1]。 2. **安装 Ollama**：下载并安装 Ollama 的二进制文件。可以从官方仓库获取最新版本： ```bash curl https://ollama.ai/install.sh | sh ``` 3. **启用 GPU 支持**：Ollama 在非 Docker 环境下会自动检测系统中的 GPU 并尝试使用 CUDA 加速。如果未自动启用，可以通过设置环境变量强制指定 GPU 使用： ```bash export CUDA_VISIBLE_DEVICES=0 ``` 上述命令将仅启用第一个 GPU 设备。如果有多个 GPU，可以根据需要调整设备编号。 4. **验证 GPU 加速状态**：启动 Ollama 后，检查其日志以确认是否启用了 GPU 加速。运行以下命令查看日志： ```bash ollama logs ``` 如果日志中包含类似以下内容，则说明 GPU 加速已启用： ``` Using GPU device: Tesla T4 CUDA initialized successfully ``` 5. **性能测试**：通过生成推理任务验证 GPU 加速效果。运行以下命令进行测试： ```bash echo "Hello, who are you?" | ollama run llama2 --max-tokens=100 ``` 记录生成时间并与 CPU 模式下的结果对比，评估加速效果。 #### 注意事项 - 如果系统中未安装 NVIDIA 驱动或 CUDA 工具包，Ollama 将默认使用 CPU 运行[^1]。 - 确保 Ollama 的版本支持 GPU 加速功能。可以通过以下命令检查版本信息： ```bash ollama version ``` ---