# ERNIE-4.5-0.3B-PT实战教程：用Python requests调用vLLM API生成结构化JSON ## 1. 学习目标与环境准备 今天我们来学习如何用最简单的方式调用ERNIE-4.5-0.3B-PT模型，通过Python的requests库直接与vLLM API交互，生成结构化的JSON数据。这个教程特别适合想要快速上手AI模型调用，但又不想折腾复杂框架的开发者。 **学完本教程，你将掌握：** - 如何检查vLLM服务是否正常运行 - 用Python requests发送请求到vLLM API - 生成结构化JSON格式的文本内容 - 处理API返回结果并解析JSON数据 **你需要准备：** - 基本的Python编程知识 - 安装好的Python环境（3.7+版本） - requests库（通过`pip install requests`安装） ## 2. 检查vLLM服务状态 在开始写代码之前，我们先确认vLLM服务已经正常启动。服务部署成功后，你会看到类似这样的日志信息： ```bash # 查看服务状态 cat /root/workspace/llm.log ``` 如果看到"Model loaded successfully"或类似的成功提示，说明服务已经就绪。这时候vLLM会在默认的8000端口启动API服务，等待我们的请求。 ## 3. 最简单的API调用示例 让我们从一个最简单的例子开始，看看如何用requests发送请求到vLLM API： ```python import requests import json # vLLM API的基础地址 api_url = "http://localhost:8000/v1/completions" # 准备请求数据 payload = { "model": "ERNIE-4.5-0.3B-PT", "prompt": "生成一个包含姓名、年龄和职业的用户信息JSON", "max_tokens": 100, "temperature": 0.7 } # 发送POST请求 response = requests.post(api_url, json=payload) # 检查响应状态 if response.status_code == 200: result = response.json() generated_text = result['choices'][0]['text'] print("生成的文本：", generated_text) else: print("请求失败，状态码：", response.status_code) ``` 这个简单的脚本做了以下几件事： 1. 设置API地址（默认是本地8000端口） 2. 准备请求数据，告诉模型我们想要什么 3. 发送POST请求到vLLM 4. 解析返回的JSON数据，提取生成的文本 ## 4. 生成结构化JSON的实战技巧 现在我们来学习如何让模型生成规整的JSON格式数据。关键在于给模型清晰的指令和适当的参数设置。 ### 4.1 精确控制JSON格式 ```python def generate_structured_json(prompt_template, data_fields): """ 生成结构化JSON数据的函数 Args: prompt_template: 提示词模板 data_fields: 需要包含的字段说明 """ api_url = "http://localhost:8000/v1/completions" # 构造详细的提示词 detailed_prompt = f""" {prompt_template} 请生成一个JSON对象，包含以下字段： {data_fields} 要求：返回纯JSON格式，不要有其他文字说明。 """ payload = { "model": "ERNIE-4.5-0.3B-PT", "prompt": detailed_prompt, "max_tokens": 150, "temperature": 0.3, # 较低的温度让输出更确定 "stop": ["\n\n"] # 遇到两个换行时停止 } try: response = requests.post(api_url, json=payload, timeout=30) response.raise_for_status() result = response.json() generated_text = result['choices'][0]['text'].strip() # 尝试解析为JSON验证格式 json_data = json.loads(generated_text) return json_data except json.JSONDecodeError: print("生成的文本不是有效的JSON格式") print("原始输出：", generated_text) return None except requests.exceptions.RequestException as e: print("请求出错：", e) return None ``` ### 4.2 实际应用示例 让我们用这个函数来生成一些实际的数据： ```python # 示例1：生成用户信息 user_prompt = "生成一个虚拟的用户信息" user_fields = """ - name: 字符串，中文姓名 - age: 数字，年龄 between 18-60 - occupation: 字符串，职业 - email: 字符串，电子邮箱 - hobbies: 数组，包含2-3个爱好 """ user_data = generate_structured_json(user_prompt, user_fields) print("生成的用户数据：", json.dumps(user_data, ensure_ascii=False, indent=2)) # 示例2：生成产品信息 product_prompt = "创建一个电子产品的基本信息" product_fields = """ - product_name: 字符串，产品名称 - price: 数字，价格 - category: 字符串，产品类别 - features: 数组，包含3个主要特性 - in_stock: 布尔值，是否有库存 """ product_data = generate_structured_json(product_prompt, product_fields) print("生成的产品数据：", json.dumps(product_data, ensure_ascii=False, indent=2)) ``` ## 5. 高级用法与参数调优 为了让生成的JSON更加准确和符合需求，我们可以调整一些参数： ### 5.1 温度参数的影响 温度参数控制生成的随机性： - 低温度（0.1-0.3）：输出更确定，适合结构化数据 - 高温度（0.7-1.0）：输出更创意，适合文学创作 ```python def generate_with_temperature(prompt, temp=0.3): payload = { "model": "ERNIE-4.5-0.3B-PT", "prompt": prompt, "max_tokens": 100, "temperature": temp, "top_p": 0.9 } response = requests.post(api_url, json=payload) return response.json() ``` ### 5.2 处理长文本生成 如果需要生成较长的JSON内容，可以调整max_tokens参数： ```python # 生成详细的产品描述 detailed_prompt = """ 生成一个详细的产品描述JSON，包含： - 产品基本信息 - 详细规格参数 - 使用场景 - 目标用户群体 """ payload = { "model": "ERNIE-4.5-0.3B-PT", "prompt": detailed_prompt, "max_tokens": 300, # 增加token数量 "temperature": 0.2 } ``` ## 6. 错误处理与调试技巧 在实际使用中可能会遇到各种问题，这里分享一些调试技巧： ### 6.1 常见的错误处理 ```python def safe_api_call(api_url, payload): """安全的API调用函数""" try: response = requests.post(api_url, json=payload, timeout=45) if response.status_code == 200: return response.json() elif response.status_code == 503: print("服务不可用，可能是模型未加载完成") elif response.status_code == 429: print("请求过于频繁，请稍后重试") else: print(f"请求失败，状态码：{response.status_code}") print("响应内容：", response.text) except requests.exceptions.ConnectionError: print("连接失败，请检查vLLM服务是否启动") except requests.exceptions.Timeout: print("请求超时，可能是模型处理时间过长") except Exception as e: print("未知错误：", e) return None ``` ### 6.2 验证JSON格式 生成的内容需要验证是否为有效的JSON： ```python def validate_json_output(text): """验证并清理JSON输出""" # 尝试直接解析 try: return json.loads(text) except json.JSONDecodeError: pass # 尝试提取JSON部分（模型有时会在JSON前后添加文字） import re json_match = re.search(r'\{[\s\S]*\}', text) if json_match: try: return json.loads(json_match.group()) except json.JSONDecodeError: pass print("无法提取有效的JSON") return None ``` ## 7. 完整实战案例 下面是一个完整的示例，演示如何生成特定格式的JSON数据： ```python import requests import json import time class VLLMClient: def __init__(self, base_url="http://localhost:8000"): self.base_url = base_url self.completions_url = f"{base_url}/v1/completions" def generate_json_data(self, schema_description, examples=None, max_retries=3): """根据schema描述生成JSON数据""" prompt = f"""请生成一个符合以下要求的JSON数据： 数据要求： {schema_description} """ if examples: prompt += f"\n参考示例：\n{examples}" prompt += "\n\n请直接输出JSON格式，不要有其他文字说明。" payload = { "model": "ERNIE-4.5-0.3B-PT", "prompt": prompt, "max_tokens": 200, "temperature": 0.2, "stop": ["\n\n"] } for attempt in range(max_retries): try: response = requests.post(self.completions_url, json=payload, timeout=30) response.raise_for_status() result = response.json() generated_text = result['choices'][0]['text'].strip() # 验证JSON格式 json_data = json.loads(generated_text) return json_data except (json.JSONDecodeError, requests.RequestException) as e: if attempt == max_retries - 1: raise Exception(f"生成失败 after {max_retries} 次尝试: {e}") time.sleep(1) # 等待1秒后重试 # 使用示例 if __name__ == "__main__": client = VLLMClient() # 定义数据schema schema = """ - 生成一本书的信息 - 包含字段：title（书名），author（作者），publish_year（出版年份） - 出版年份 between 2000-2023 - 添加genre字段，值为数组，包含1-3个 genre类型 - 添加rating字段，数值 between 3.5-5.0 """ try: book_data = client.generate_json_data(schema) print("生成的书籍数据：") print(json.dumps(book_data, ensure_ascii=False, indent=2)) except Exception as e: print("生成失败：", e) ``` ## 8. 总结与建议 通过这个教程，你应该已经掌握了用Python requests调用ERNIE-4.5-0.3B-PT模型生成结构化JSON数据的基本方法。这里总结几个实用建议： **给新手的建议：** 1. 从简单的提示词开始，逐步增加复杂度 2. 先用低温度参数（0.1-0.3）确保输出格式正确 3. 总是验证生成的JSON格式是否有效 4. 添加适当的错误处理，让程序更健壮 **进阶技巧：** 1. 在提示词中提供JSON格式的示例，让模型学习 2. 使用stop参数控制生成长度 3. 对于复杂结构，可以分多次生成然后组合 4. 记录成功的提示词模板，建立自己的知识库 **常见问题解决：** - 如果返回非JSON内容，检查提示词是否明确要求JSON格式 - 如果服务无响应，确认vLLM是否正常启动 - 如果生成内容不完整，增加max_tokens参数 现在你已经掌握了基本技能，可以开始尝试生成各种结构化数据了。记得多实践，不同的提示词会产生完全不同的结果！ --- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。