### 部署 DeepSeek-R1:70b 模型并使用 OpenWebUI 在麒麟操作系统上通过 Docker 部署 DeepSeek-R1:70b 模型并结合 OpenWebUI 使用，需要完成以下配置和操作： #### 1. 安装 Docker 确保系统中已安装 Docker。如果未安装，可以通过以下命令安装： ```bash sudo apt-get update sudo apt-get install -y docker.io ``` 启动并设置 Docker 开机自启： ```bash sudo systemctl start docker sudo systemctl enable docker ``` #### 2. 下载 DeepSeek 模型 通过 Ollama 工具下载 DeepSeek-R1:70b 模型。首先安装 Ollama： ```bash curl -fsSL https://ollama.ai/install.sh | bash ``` 然后下载 DeepSeek-R1:70b 模型： ```bash ollama pull deepseek-r1:70b ``` 这一步可能需要较长时间，具体取决于网络环境[^2]。 #### 3. 配置 OpenWebUI OpenWebUI 是一个轻量级的前端界面工具，可以与后端模型结合使用。安装 OpenWebUI： ```bash pip3 install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple ln -s /usr/local/python3.12/bin/open-webui /usr/local/bin/open-webui ``` 启动 OpenWebUI 服务： ```bash open-webui serve ``` 默认情况下，OpenWebUI 将监听 `http://localhost:8080` 端口[^3]。 #### 4. 验证模型运行 测试模型是否正常工作，可以使用以下命令发送生成请求： ```bash curl 127.0.0.1:1025/generate -d '{ "prompt": "What is deep learning?", "max_tokens": 32, "stream": false, "do_sample": true, "repetition_penalty": 1.00, "temperature": 0.01, "top_p": 0.001, "top_k": 1, "model": "deepseek-r1:70b" }' ``` 此命令将验证模型是否能够正确响应生成请求[^4]。 #### 5. 调整 Docker 配置（可选） 如果模型运行时遇到资源不足的问题，可以调整 Docker 的内存和 GPU 配置。编辑 Docker 的配置文件 `/etc/docker/daemon.json`，添加以下内容： ```json { "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "nvidia-container-runtime", "runtimeArgs": [] } } } ``` 重启 Docker 服务以应用更改： ```bash sudo systemctl restart docker ``` ### 注意事项 - DeepSeek-R1:70b 是一个大模型，对硬件资源要求较高。建议使用配备 NVIDIA GPU 的机器，并确保显存充足。 - 如果在部署过程中遇到问题，可以参考官方文档或社区支持[^1]。