### 华为昇腾 Ascend 910 和 910B 上安装 Docker 环境运行 Llama 大模型推理教程 #### 1. 准备工作 在开始之前，需确认硬件环境已准备好，并确保昇腾 NPU 驱动固件和 CANN 软件已经成功安装[^3]。如果尚未完成这些步骤，则需要先按照官方文档或相关教程配置基础环境。 #### 2. 安装 Docker 环境 为了支持容器化部署，在目标机器上安装 Docker 是必要的。以下是具体操作： ```bash # 更新系统包管理器缓存 sudo apt-get update # 安装依赖项 sudo apt-get install -y \ ca-certificates \ curl \ gnupg \ lsb-release # 添加 Docker 的官方 GPG 密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 设置稳定版仓库 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 再次更新APT索引 sudo apt-get update # 安装最新版本的Docker引擎 sudo apt-get install -y docker-ce docker-ce-cli containerd.io ``` 完成后可以通过以下命令验证 Docker 是否正常启动： ```bash sudo systemctl status docker ``` #### 3. 构建适配昇腾的 Docker 镜像 由于昇腾设备具有特定的硬件加速特性，因此需要构建专门针对昇腾优化的基础镜像。可以参考如下 `Dockerfile` 文件结构来创建自定义镜像： ```dockerfile FROM ubuntu:20.04 # 设置环境变量 ENV ASCEND_HOME=/usr/local/Ascend # 安装基本依赖 RUN apt-get update && apt-get install -y python3-pip git wget build-essential libsm6 libxext6 # 下载并解压昇腾工具包 RUN mkdir -p ${ASCEND_HOME} && cd ${ASCEND_HOME} && \ wget http://your_ascend_toolkit_url/toolkit.tar.gz && tar zxvf toolkit.tar.gz && rm -f toolkit.tar.gz # 加载昇腾环境变量 COPY set_env.sh ${ASCEND_HOME}/ascend-toolkit/ RUN echo "source ${ASCEND_HOME}/ascend-toolkit/set_env.sh" >> ~/.bashrc # 安装 Python 库 RUN pip3 install torch_npu transformers datasets accelerate peft # 将项目代码复制到镜像中 WORKDIR /app COPY . . CMD ["python3", "main.py"] ``` 注意：`${ASCEND_HOME}` 中的具体路径应根据实际安装位置调整；同时替换 `http://your_ascend_toolkit_url/toolkit.tar.gz` 为真实的昇腾工具包下载链接[^4]。 #### 4. 运行 Llama 模型推理 假设已有预训练好的 Llama 模型权重文件以及对应的加载脚本（如 `main.py`），则可以在上述镜像基础上执行推理任务。下面是一个简单的示例代码片段用于加载模型并生成文本输出： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("decapoda-research/llama-7b-hf") model = AutoModelForCausalLM.from_pretrained("decapoda-research/llama-7b-hf").to('npu') input_text = "Once upon a time" inputs = tokenizer(input_text, return_tensors="pt").to('npu') outputs = model.generate(**inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(result) ``` 以上代码通过指定 `'npu'` 设备名实现了对昇腾 NPU 的调用[^4]。 #### 5. 总结 整个流程涵盖了从准备阶段到最终应用落地的关键环节，包括但不限于 Docker 环境搭建、昇腾专用镜像制作以及基于 Transformer 结构的大规模语言模型推理实践等内容[^3]。 ---