# ChatGLM3-6B-128K快速上手：Python调用与多轮对话实操手册 ## 1. 学习目标与环境准备 今天我们来快速上手ChatGLM3-6B-128K模型，这是一个专门为处理长文本对话而优化的开源大模型。通过本教程，你将学会如何用Python调用这个模型，并实现流畅的多轮对话功能。 **学习完成后，你将掌握**： - 如何快速部署ChatGLM3-6B-128K服务 - 用Python代码调用模型进行文本生成 - 实现多轮对话的完整流程 - 处理长文本对话的实际技巧 **前置要求**： - 基本的Python编程知识 - 了解HTTP API的基本概念 - 有ollama使用经验更佳（没有也没关系） ## 2. 模型快速部署 首先我们需要部署ChatGLM3-6B-128K模型服务。使用ollama可以一键部署，非常简单。 ### 2.1 安装ollama（如果尚未安装） 如果你还没有安装ollama，可以通过以下命令快速安装： ```bash # Linux/macOS 安装命令 curl -fsSL https://ollama.ai/install.sh | sh # Windows 安装 # 下载安装包从 https://ollama.ai/download 并运行 ``` ### 2.2 拉取ChatGLM3-6B-128K模型 安装完成后，拉取我们需要的模型： ```bash ollama pull entropyyue/chatglm3 ``` 这个命令会自动下载模型文件，根据你的网络速度，可能需要等待几分钟到几十分钟。 ### 2.3 启动模型服务 模型下载完成后，启动服务： ```bash ollama serve ``` 服务默认会在本地的11434端口启动，这样我们就有了一个可以随时调用的文本生成服务。 ## 3. Python调用基础 现在我们来学习如何用Python代码调用这个服务。我们会使用requests库来发送HTTP请求。 ### 3.1 安装必要的库 首先确保安装了requests库： ```bash pip install requests ``` ### 3.2 最简单的调用示例 下面是一个最基本的调用代码，让你快速看到效果： ```python import requests import json def simple_chat(prompt): url = "http://localhost:11434/api/generate" data = { "model": "entropyyue/chatglm3", "prompt": prompt, "stream": False } response = requests.post(url, json=data) result = response.json() return result["response"] # 试试看！ question = "你好，请介绍一下你自己" answer = simple_chat(question) print(f"问题: {question}") print(f"回答: {answer}") ``` 运行这段代码，你应该能看到模型返回的自我介绍。这就是最简单的单次对话。 ## 4. 实现多轮对话 多轮对话是ChatGLM3的强项，特别是128K版本擅长处理长上下文。让我们看看怎么实现。 ### 4.1 维护对话历史 多轮对话的关键是维护对话历史，每次把之前的对话内容也传给模型： ```python class ChatSession: def __init__(self): self.history = [] self.url = "http://localhost:11434/api/generate" def chat(self, message): # 将新消息加入历史 self.history.append({"role": "user", "content": message}) # 准备请求数据 data = { "model": "entropyyue/chatglm3", "prompt": self._format_history(), "stream": False } # 发送请求 response = requests.post(self.url, json=data) result = response.json() # 将模型回复加入历史 model_reply = result["response"] self.history.append({"role": "assistant", "content": model_reply}) return model_reply def _format_history(self): # 将对话历史格式化为模型接受的格式 formatted = "" for turn in self.history: if turn["role"] == "user": formatted += f"用户: {turn['content']}\n" else: formatted += f"助手: {turn['content']}\n" return formatted # 使用示例 session = ChatSession() print(session.chat("你好，我是小明")) print(session.chat("你能帮我写一首关于春天的诗吗？")) print(session.chat("刚才那首诗很好，能再写一首关于秋天的吗？")) ``` ### 4.2 处理长文本对话 ChatGLM3-6B-128K的优势就是处理长文本，下面展示如何利用这个特性： ```python def long_context_chat(): session = ChatSession() # 模拟长对话 topics = [ "请介绍人工智能的发展历史", "在这些历史事件中，哪些对自然语言处理影响最大？", "基于这些影响，预测一下未来5年NLP技术的发展趋势", "针对你预测的趋势，给初学者一些学习建议" ] for topic in topics: print(f"用户: {topic}") response = session.chat(topic) print(f"助手: {response}\n") return session.history # 运行长对话 conversation_history = long_context_chat() print(f"对话总轮数: {len(conversation_history)//2}") ``` ## 5. 实用技巧与进阶功能 掌握了基础用法后，来看看一些提升体验的实用技巧。 ### 5.1 调整生成参数 你可以通过调整参数来控制生成效果： ```python def advanced_chat(prompt, max_tokens=500, temperature=0.7): url = "http://localhost:11434/api/generate" data = { "model": "entropyyue/chatglm3", "prompt": prompt, "stream": False, "options": { "num_predict": max_tokens, # 最大生成长度 "temperature": temperature, # 创造性程度，0-1之间 "top_p": 0.9, # 采样阈值 "repeat_penalty": 1.1 # 重复惩罚 } } response = requests.post(url, json=data) return response.json()["response"] # 创造性较高的回答 creative_answer = advanced_chat("写一个科幻短故事开头", temperature=0.9) # 更保守准确的回答 factual_answer = advanced_chat("解释量子计算的基本原理", temperature=0.3) ``` ### 5.2 流式输出处理 对于长时间生成，可以使用流式输出提升用户体验： ```python def stream_chat(prompt): url = "http://localhost:11434/api/generate" data = { "model": "entropyyue/chatglm3", "prompt": prompt, "stream": True } response = requests.post(url, json=data, stream=True) print("助手: ", end="", flush=True) full_response = "" for line in response.iter_lines(): if line: json_data = json.loads(line) if "response" in json_data: chunk = json_data["response"] print(chunk, end="", flush=True) full_response += chunk if json_data.get("done", False): break print() # 换行 return full_response # 使用流式输出 stream_chat("请详细说明机器学习的主要算法类型") ``` ## 6. 常见问题与解决方法 在实际使用中可能会遇到一些问题，这里提供一些解决方案。 ### 6.1 连接问题 如果遇到连接错误，首先检查服务状态： ```python def check_service_status(): try: response = requests.get("http://localhost:11434/api/tags", timeout=5) if response.status_code == 200: print("服务正常运行") return True else: print("服务异常") return False except requests.ConnectionError: print("无法连接到服务，请检查ollama是否启动") return False # 检查服务状态 check_service_status() ``` ### 6.2 性能优化建议 对于长文本处理，这些建议可以帮助提升体验： 1. **分批处理**：特别长的文本可以分成多段处理 2. **合理设置超时**：长文本生成需要更长时间 3. **使用异步请求**：避免阻塞主线程 ```python import asyncio import aiohttp async def async_chat(session, prompt): async with session.post( "http://localhost:11434/api/generate", json={"model": "entropyyue/chatglm3", "prompt": prompt, "stream": False} ) as response: result = await response.json() return result["response"] # 异步调用示例 async def main(): async with aiohttp.ClientSession() as session: tasks = [ async_chat(session, "第一个问题"), async_chat(session, "第二个问题") ] results = await asyncio.gather(*tasks) for result in results: print(result) ``` ## 7. 总结回顾 通过本教程，我们完整学习了ChatGLM3-6B-128K的Python调用方法： **核心掌握点**： - 使用ollama快速部署模型服务 - 通过HTTP API进行基础文本生成 - 实现多轮对话的历史维护 - 利用128K长上下文优势处理复杂对话 - 调整参数优化生成效果 **实用建议**： - 对于8K以内的对话，使用基础版ChatGLM3-6B即可 - 超过8K的长文本对话，一定要选择128K版本 - 多轮对话时合理维护历史记录 - 根据需求调整生成参数获得最佳效果 **下一步学习方向**： - 探索模型的工具调用（Function Call）功能 - 尝试代码执行（Code Interpreter）能力 - 学习如何微调模型适应特定领域 现在你已经掌握了ChatGLM3-6B-128K的基本使用方法，可以开始构建自己的对话应用了。记得从简单场景开始，逐步尝试更复杂的多轮对话场景。 --- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。