### 使用 BEIR 评估 RAG 系统上下文召回率和精度的完整 Python 代码示例 以下代码展示了如何使用 BEIR 评估 RAG 系统的上下文召回率和精度。RAG 系统结合了检索和生成，能够通过检索相关文档来提升大语言模型的回答质量[^4]。 ```python ### 导入必要的库 from beir import util, LoggingHandler from beir.retrieval import models from beir.datasets.data_loader import GenericDataLoader from beir.retrieval.evaluation import EvaluateRetrieval import os ### 配置数据集和模型 dataset = "scifact" # 可替换为其他 BEIR 支持的数据集 url = f"https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/{dataset}.zip" out_dir = "./datasets" data_path = util.download_and_unzip(url, out_dir) corpus, queries, qrels = GenericDataLoader(data_path).load(split="test") ### 初始化 BM25 检索模型 model = models.BM25() ### 执行检索并评估结果 retriever = EvaluateRetrieval(model, score_function="dot") # 或 "cos_sim" results = retriever.retrieve(corpus, queries) ### 计算上下文召回率和精度 ndcg, _map, recall, precision = retriever.evaluate(qrels, results, [1, 3, 5, 10, 100]) # 输出评估指标 print(f"Recall@1: {recall[1]:.4f}") # top-1 召回率 print(f"Recall@3: {recall[3]:.4f}") # top-3 召回率 print(f"Recall@5: {recall[5]:.4f}") # top-5 召回率 print(f"Recall@10: {recall[10]:.4f}") # top-10 召回率 print(f"Recall@100: {recall[100]:.4f}") # top-100 召回率 print(f"Precision@1: {precision[1]:.4f}") # top-1 精度 print(f"Precision@3: {precision[3]:.4f}") # top-3 精度 print(f"Precision@5: {precision[5]:.4f}") # top-5 精度 print(f"Precision@10: {precision[10]:.4f}") # top-10 精度 print(f"Precision@100: {precision[100]:.4f}") # top-100 精度 ### 如果需要进一步重排结果，可以集成 Reranker # 示例：使用 BGE Re-Ranker 进行重排[^3] from beir.reranking.models import CrossEncoder from beir.reranking import Rerank # 加载 Reranker 模型 reranker_model = CrossEncoder("castorini/bge-reranker-base") reranker = Rerank(reranker_model, batch_size=16) # 对检索结果进行重排 reranked_results = reranker.rerank(corpus, queries, results) # 重新评估重排后的结果 ndcg_rerank, _map_rerank, recall_rerank, precision_rerank = retriever.evaluate(qrels, reranked_results, [1, 3, 5, 10, 100]) # 输出重排后的评估指标 print(f"Reranked Recall@1: {recall_rerank[1]:.4f}") print(f"Reranked Recall@3: {recall_rerank[3]:.4f}") print(f"Reranked Recall@5: {recall_rerank[5]:.4f}") print(f"Reranked Recall@10: {recall_rerank[10]:.4f}") print(f"Reranked Recall@100: {recall_rerank[100]:.4f}") print(f"Reranked Precision@1: {precision_rerank[1]:.4f}") print(f"Reranked Precision@3: {precision_rerank[3]:.4f}") print(f"Reranked Precision@5: {precision_rerank[5]:.4f}") print(f"Reranked Precision@10: {precision_rerank[10]:.4f}") print(f"Reranked Precision@100: {precision_rerank[100]:.4f}") ``` --- ### 说明 上述代码实现了以下功能： 1. **加载数据集**：从 BEIR 提供的公开数据集中加载测试数据，包括语料库、查询和相关的 ground truth 标签。 2. **执行检索**：使用 BM25 模型对查询进行检索，并获取初始检索结果。 3. **评估性能**：计算上下文召回率（Recall@k）和精度（Precision@k），评估检索系统的性能。 4. **重排结果**：通过集成 BGE Re-Ranker[^3] 对检索结果进行重排，进一步优化上下文召回率和精度。 ---