### 使用Python实现文本转为向量并存入Elasticsearch 为了将文本转换成向量并存储到Elasticsearch中，以便于后续的生成式AI应用，通常会经历以下几个方面的工作： #### 文本预处理与嵌入化 首先，需要对原始文本进行必要的清理和标准化操作。这可能涉及到去除停用词、标点符号以及执行词干提取或词形还原等步骤。接着，采用合适的算法将这些经过预处理后的文本映射至连续的空间内形成稠密向量表示。 对于文本嵌入化的过程，可以借助预先训练好的模型如BERT[^2] 或者其他基于Transformer架构的语言模型来获取高质量的语义特征表达。下面是一个简单的例子展示如何使用`transformers`库中的BERT模型来进行文本编码： ```python from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def encode_text(texts): inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs)[0][:, 0, :].detach().numpy() return outputs.tolist() texts = ["example sentence one", "another example"] vectors = encode_text(texts) print(vectors) ``` 此代码片段展示了怎样加载一个预训练的BERT模型，并将其应用于一批输入句子上得到对应的固定长度向量列表。 #### Elasticsearch配置与索引创建 接下来，在准备好了要保存的数据之后，就需要设置好目标环境——即安装并启动了一个可用版本的Elasticsearch服务实例。可以通过官方文档指导完成这一部分工作[^3]。 一旦有了运行着的服务端口地址，就可以继续定义一个新的索引来容纳即将导入的信息了。这里假设已经有一个名为"text_vectors"的新建索引等待接收来自应用程序提交的内容项；每条记录都至少应该包含两个字段："text"(原文字符串形式) 和 "vector"(由上述过程产生的数值型数组)。 以下是有关如何构建这样一个适合存储文本及其对应向量表征结构的例子： ```json PUT /text_vectors { "mappings": { "_doc": { "properties": { "text": {"type": "text"}, "vector": {"type": "dense_vector", "dims": 768} } } } } ``` 这段JSON命令指定了新建立的索引内部具体属性布局，其中特别强调了"vector"这个特殊类型的域用来承载维度大小固定的浮点数序列作为其值。 #### 数据上传流程 最后一步则是编写实际负责把之前获得的结果送达到指定位置处的小工具函数。考虑到效率问题，建议尽可能批量处理多条目一起发送请求给API接口。下面是利用`elasticsearch-py`客户端库实施该任务的一个示范程序段落： ```python from elasticsearch import Elasticsearch es_client = Elasticsearch([{'host': 'localhost', 'port': 9200}]) bulk_actions = [] for i, (txt, vec) in enumerate(zip(texts, vectors)): action = { '_index': 'text_vectors', '_id': str(i), '_source': {'text': txt, 'vector': vec}, } bulk_actions.append(action) if bulk_actions: res = es_client.bulk(index='text_vectors', body=bulk_actions) print(res['errors']) else: print("No items to index.") ``` 以上脚本实现了连接本地部署的Elasticsearch节点并向其中新增若干文档的功能，每个文档均携带了一组关联起来的文字描述连同相应的量化表现形式一同被持久化下来供以后查询调用。