### 使用 DeepSeek 1.5 构建 RAG 模型 Python 实操教程 #### 环境准备 为了确保能够顺利运行代码，需要满足以下条件： - **Python 版本**：至少为 Python 3.10 的版本[^2]。 ```bash python --version ``` 确认已安装所需版本后，继续设置工作环境并安装必要的依赖库。 #### 安装依赖库 通过 pip 工具来安装所需的 Python 库文件。这些库对于实现检索增强生成(Retrieval-Augmented Generation, RAG)至关重要。 ```bash pip install deepseek-langchain rag-transformers torch transformers datasets faiss-cpu ``` 上述命令会自动下载并安装 `deepseek-langchain`、`rag-transformers`、`torch`、`transformers` 和 `faiss-cpu` 这些用于构建和部署 RAG 所必需的软件包。 #### 加载预训练模型 加载由杭州深度求索公司发布的 DeepSeek 1.5 预训练模型作为基础架构的一部分。这一步骤简化了开发者的工作流程，使得可以直接利用已经过大量数据集优化过的参数来进行定制化的应用开发。 ```python from transformers import AutoModelForSeq2SeqLM, AutoTokenizer model_name = "DeepSeek-LM/DeepSeek-v3" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSeq2SeqLM.from_pretrained(model_name) ``` 这段代码片段展示了如何从 Hugging Face Model Hub 中获取指定名称 (`DeepSeek-LM/DeepSeek-v3`) 下的 tokenizer 和 model 对象实例[^1]。 #### 创建搜索引擎组件 定义一个简单的搜索引擎类 SearchEngine 来处理查询请求并与外部数据库交互。此部分实现了基于 FAISS 向量相似度匹配算法的功能模块，从而提高了搜索效率。 ```python import faiss from sentence_transformers import SentenceTransformer class SearchEngine: def __init__(self): self.index = None self.doc_ids = [] def build_index(self, documents): embeddings_model = SentenceTransformer('all-MiniLM-L6-v2') document_embeddings = embeddings_model.encode(documents) dimension = document_embeddings.shape[1] index = faiss.IndexFlatL2(dimension) index.add(document_embeddings.astype('float32')) self.index = index def search(self, query, top_k=5): embeddings_model = SentenceTransformer('all-MiniLM-L6-v2') query_embedding = embeddings_model.encode([query]) _, I = self.index.search(query_embedding.astype('float32'), k=top_k) return [self.doc_ids[i] for i in I[0]] ``` 该段落中的 `SearchEngine` 类负责管理文档向量化以及执行近似最近邻查找的任务。其中使用到了来自 `sentence-transformers` 库里的 `SentenceTransformer` 来完成文本编码过程；而 Faiss 则被用来加速大规模矢量空间内的距离计算操作[^3]。 #### 整合RAG管道 最后一步就是把之前提到的所有要素组合起来形成完整的 RagPipeline 流程控制结构体。这个对象接收用户输入的问题字符串之后依次调用各个子系统的功能接口最终返回答案摘要给前端展示层面上去。 ```python from langchain.chains.qa_with_sources import create_qa_with_sources_chain def initialize_rag_pipeline(): search_engine = SearchEngine() # Assume we have a list of preprocessed documents here. documents = ["document_1", "document_2"] doc_ids = range(len(documents)) search_engine.build_index(documents) search_engine.doc_ids.extend(list(doc_ids)) chain = create_qa_with_sources_chain( llm=model, retriever=search_engine.search, verbose=True ) return chain pipeline = initialize_rag_pipeline() question = input("请输入您的问题:") response = pipeline.run(question) print(f"Answer: {response['answer']}") for source in response.get('source_documents', []): print(f"\nSource Document ID: {source.metadata['id']}\nContent:\n{source.page_content[:200]}...") ``` 在这最后一节里介绍了怎样初始化整个问答链条，并且给出了一个简易版的人机互动界面供测试用途。当接收到用户的提问时，程序将会按照既定逻辑顺序调用相应的函数直至得出结论为止。