在 RAG（Retrieval-Augmented Generation）系统中，查询重写是提升检索效果的重要手段之一。为了实现高质量的查询扩展，许多基于 API 的模型和框架支持通过 Python 调用，适用于实际工程部署和实验研究。 ### 通过 API 调用的查询重写模型 #### 1. T5-based 模型（如 `castorini/monot5-base-msmarco`） T5 是一种通用的序列到序列模型，广泛用于文本生成任务，包括查询重写。Hugging Face 提供了多个预训练 T5 模型，例如 `castorini/monot5-base-msmarco`，可以通过 API 调用实现查询扩展。 ```python from transformers import T5Tokenizer, T5ForConditionalGeneration tokenizer = T5Tokenizer.from_pretrained("t5-base") model = T5ForConditionalGeneration.from_pretrained("castorini/monot5-base-msmarco") input_text = "用户输入的原始查询" input_ids = tokenizer.encode("query: " + input_text, return_tensors="pt") outputs = model.generate(input_ids) rewritten_query = tokenizer.decode(outputs[0], skip_special_tokens=True) print(rewritten_query) ``` 该模型在 MS MARCO 数据集上进行了微调，能够有效生成更具语义表达能力的查询版本[^1]。 #### 2. BART-based 模型（如 `facebook/bart-large`） BART 是一种基于 Transformer 的序列到序列模型，支持文本生成和重写任务。Hugging Face 上的 `facebook/bart-large` 模型可直接用于查询重写。 ```python from transformers import BartTokenizer, BartForConditionalGeneration tokenizer = BartTokenizer.from_pretrained("facebook/bart-large") model = BartForConditionalGeneration.from_pretrained("facebook/bart-large") input_text = "用户输入的原始查询" input_ids = tokenizer.encode(input_text, return_tensors="pt") outputs = model.generate(input_ids) rewritten_query = tokenizer.decode(outputs[0], skip_special_tokens=True) print(rewritten_query) ``` 该模型具备较强的上下文理解能力，适用于复杂语义场景下的查询重写任务。 #### 3. Cohere API Cohere 提供了商业化的语言模型 API，包括用于查询重写和语义扩展的功能。通过其 API，可以实现高效的查询生成。 ```python import cohere co = cohere.Client("YOUR_API_KEY") response = co.generate( model="command", prompt="Rewrite the following query: '用户输入的原始查询'", max_tokens=50 ) rewritten_query = response.generations[0].text.strip() print(rewritten_query) ``` Cohere 的模型在多种自然语言任务中表现优异，适合需要高精度查询重写的场景。 #### 4. OpenAI GPT 系列 API（如 GPT-3.5、GPT-4） OpenAI 的 GPT-3.5 和 GPT-4 支持通过 API 实现查询重写，尤其适用于需要上下文感知和多轮对话理解的场景。 ```python import openai openai.api_key = "YOUR_API_KEY" response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are a query rewriter."}, {"role": "user", "content": "Rewrite the following query: '用户输入的原始查询'"}, ] ) rewritten_query = response.choices[0].message["content"].strip() print(rewritten_query) ``` 该类模型具备强大的语言理解和生成能力，适用于复杂语义结构的查询重写任务。 #### 5. You.com API You.com 提供了基于搜索和语义理解的 API 接口，支持查询优化和重写功能。可通过其 API 获取语义增强后的查询表达。 ```python import requests headers = {"Authorization": "Bearer YOUR_API_KEY"} params = {"query": "用户输入的原始查询"} response = requests.get("https://api.you.com/query_rewrite", headers=headers, params=params) rewritten_query = response.json()["rewritten_query"] print(rewritten_query) ``` You.com 的 API 适用于需要与搜索引擎深度集成的 RAG 系统。 ###