### 构建和运行 RAG 模型 要在 Jupyter Notebook 中构建和运行 RAG（检索增强生成）模型，可以按照以下方法操作。以下是详细的介绍以及代码示例。 #### 安装依赖库 为了成功运行 RAG 模型，需要先安装必要的 Python 库。这些库包括但不限于 `numpy`、`pandas`、`scikit-learn` 等基础数据处理工具，以及其他特定于自然语言处理的任务所需的工具包[^2]。 ```bash pip install numpy pandas scikit-learn matplotlib tqdm jupyter notebook ipython langchain llama-cpp-python torch transformers faiss-gpu ``` #### 导入所需模块 在 Jupyter Notebook 中导入所有必需的模块： ```python import os from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS from langchain.llms import LlamaCpp from langchain.prompts import PromptTemplate from langchain.chains import RetrievalQA from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.document_loaders import TextLoader ``` #### 数据加载与预处理 假设我们有一个简单的文本文件作为输入文档集合，则可以通过如下方式加载并分割成适合向量存储的小片段。 ```python loader = TextLoader('./data/sample.txt') # 替换为实际路径 documents = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) texts = text_splitter.split_documents(documents) ``` #### 创建嵌入函数及索引数据库 使用 Hugging Face 提供的语言模型来计算每一段文字的语义表示，并将其存放到基于 Faiss 的矢量搜索引擎中以便后续快速查找最相似的内容项。 ```python embeddings_model_name = "sentence-transformers/all-MiniLM-L6-v2" hf_embeddings = HuggingFaceEmbeddings(model_name=embeddings_model_name) db = FAISS.from_texts([t.page_content for t in texts], hf_embeddings) retriever = db.as_retriever(search_type="similarity", search_kwargs={"k": 2}) ``` #### 配置大型语言模型 (LLM) 这里以 Meta 开发的 LLaMA 系列为例展示如何设置本地化的大规模预训练模型实例及其调用参数配置[^4]。 ```python llm_path = "./models/llama-7b.ggmlv3.q8_0.bin" sm_llm_falcon_instruct = LlamaCpp( model_path=llm_path, n_ctx=512, max_tokens=256, temperature=0.1, top_p=0.95, repeat_penalty=1.15, verbose=False ) ``` #### 组合检索器与生成器形成完整的问答链路 通过定义模板字符串控制最终呈现给用户的提示样式；再结合之前准备好的检索组件一起封装到 LangChain 提供的标准接口类之下完成整个系统的搭建工作。 ```python template = """Use the following pieces of context to answer the question at the end. {context} Question: {question} Answer:""" prompt_template = PromptTemplate(template=template, input_variables=["context", "question"]) qa_chain = RetrievalQA.from_chain_type(llm=sm_llm_falcon_instruct, chain_type="stuff", retriever=retriever, return_source_documents=True, chain_type_kwargs={'prompt': prompt_template}) query = "What is the capital city of France?" result = qa_chain({"query": query}) print(result['answer']) ``` 以上就是在 Jupyter Notebook 上面实现的一个简单版本的 RAG 流程概述[^1]。此框架能够被扩展至更复杂的业务需求之上，在多个领域内发挥重要作用[^3]。 ---