### Ubuntu 上调用本地大模型 API 的方法 在 Ubuntu 系统中调用本地部署的大模型 API 可以通过 Ollama 提供的标准接口实现。以下是具体的配置和示例说明： #### 1. 安装并启动 Ollama Ollama 是一种轻量级工具，用于管理和运行大型语言模型 (LLM)，支持多种框架和模型格式。安装完成后，可以通过其内置的 HTTP RESTful 接口访问模型。 确保已按照官方文档完成 Ollama 的安装，并成功加载目标模型[^1]。例如： ```bash ollama run deepseek --port=11434 ``` 此命令会在指定端口 `11434` 启动服务，默认情况下可以接受来自客户端的请求。 --- #### 2. 使用 Python 调用本地 API Python 中可通过标准库 `requests` 或其他 HTTP 工具发送 POST 请求至 Ollama 的 API 地址。以下是一个完整的代码示例： ```python import requests def call_local_model(prompt, server_url="http://localhost:11434", model_name="deepseek"): """ 发送提示给本地部署的大模型并通过 API 获取响应。 :param prompt: 输入的文本提示 :param server_url: 大模型服务器 URL :param model_name: 模型名称 :return: 返回生成的结果 """ url = f"{server_url}/api/generate" headers = {"Content-Type": "application/json"} payload = { "model": model_name, "prompt": prompt, "parameters": { "max_length": 50, # 输出的最大长度 "temperature": 0.7 # 控制随机性的参数 } } response = requests.post(url, json=payload, headers=headers) if response.status_code == 200: result = response.json() return result["response"] else: raise Exception(f"Error calling the API: {response.text}") # 测试函数 if __name__ == "__main__": user_input = "Explain quantum computing briefly." output = call_local_model(user_input) print(output) ``` 上述脚本定义了一个名为 `call_local_model` 的函数，它接收用户输入并将结果返回。注意调整超参（如温度、最大长度）可根据实际需求修改。 --- #### 3. GPU 加速优化 如果硬件条件允许，建议利用 NVIDIA 显卡加速推理过程。对于具备 NVIDIA RTX 4080 和 16GB 显存的设备，需确认驱动程序版本以及 CUDA Toolkit 是否适配当前操作系统环境[^2]。通常执行如下操作即可验证设置是否正常： ```bash nvidia-smi ``` 显示的信息应包含显卡型号及其可用内存容量。 此外，还需保证 PyTorch/TensorFlow 库能够识别 GPU 设备。测试方式如下： ```python import torch print("CUDA Available:", torch.cuda.is_available()) print("Device Name:", torch.cuda.get_device_name(0)) ``` --- #### 4. 常见错误处理 当尝试加载预训练权重文件时可能会遇到模块缺失问题，比如报错信息提到 `No module named 'keras.engine'`。这通常是由于依赖项未正确安装所致[^3]。解决办法包括但不限于重新创建虚拟环境或更新相关包列表： ```bash pip install tensorflow keras huggingface_hub transformers --upgrade ``` 同时需要注意 Windows 平台下默认存储路径可能占用过多 C 盘空间，因此推荐手动更改缓存目录位置为 D/E 分区中的自定义文件夹。 ---