### 安装和使用 `llama-cpp-python` 库于 Linux 环境 #### 准备工作 在 Linux 下安装并运行 `llama-cpp-python` 需要满足一些依赖条件。确保系统已安装必要的开发工具链以及 Python 和 pip 的最新版本。 #### 安装步骤 以下是针对 Linux 平台的具体操作指南： 1. **更新包管理器** 更新系统的软件源以获取最新的依赖项。 ```bash sudo apt update && sudo apt upgrade -y ``` 2. **安装必要依赖** 安装编译所需的工具和库文件，这些对于构建 C++ 扩展至关重要。 ```bash sudo apt install build-essential cmake git libomp-dev python3 python3-pip -y ``` 3. **创建虚拟环境（可选）** 推荐在一个隔离的环境中进行安装，以便更好地管理依赖关系。 ```bash python3 -m venv llama-env source llama-env/bin/activate ``` 4. **升级 Pip 工具** 确保使用的 pip 是最新版。 ```bash pip install --upgrade pip setuptools wheel ``` 5. **安装 `llama-cpp-python`** 可通过 PyPI 或者从 GitHub 源码安装该库。如果硬件资源有限，则可以指定仅加载部分 GPU 层次来优化性能[^1]。 ```bash pip install llama-cpp-python ``` 如果遇到编译错误或者希望自定义配置，可以从源码手动安装： ```bash git clone https://github.com/abetlen/llama-cpp-python.git cd llama-cpp-python CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install . ``` 6. **下载模型文件** 运行 API 服务前需准备一个兼容的 GGUF 格式的量化模型文件。例如 Chinese-Alpaca-2-7B-Q4_K_M[^2]。 ```bash mkdir models && cd models wget https://huggingface.co/TheBloke/Chinese-Alpaca-2-7B-GGUF/resolve/main/chinese-alpaca-2-7b.Q4_K_M.gguf ``` 7. **启动 LLM API 服务** 利用上述命令中的参数调整服务器行为，比如设置监听地址、端口或启用更多 GPU 加速层。 ```bash python3 -m llama_cpp.server \ --model ./models/chinese-alpaca-2-7b.Q4_K_M.gguf \ --n_gpu_layers 1 \ --listen-address "0.0.0.0" ``` 8. **验证服务状态** 访问浏览器输入 URL 地址确认接口是否正常运作：http://<your-server-ip>:8000/docs 。这里展示了 Swagger UI 页面用于测试 RESTful APIs 功能。 #### 注意事项 - 对于低配机器来说可能需要更长时间完成初始化过程，请耐心等待直到日志显示成功启动消息为止。 - 若计划长期部署建议考虑容器化方案如 Docker 来简化管理和迁移流程。 ```python import requests response = requests.post( 'http://localhost:8000/completion', json={ 'prompt': '你好世界!', 'max_tokens': 50, 'temperature': 0.8 } ) print(response.json()) ```