# gte-base-zh参数详解：normalize_embeddings=True对余弦相似度影响 ## 1. 引言 在文本嵌入领域，我们经常需要计算文本之间的相似度。gte-base-zh作为阿里巴巴达摩院训练的中文文本嵌入模型，在实际使用中有一个关键参数`normalize_embeddings`，这个参数的选择会直接影响余弦相似度的计算结果。 很多开发者在初次接触这个参数时会有疑问：为什么要对嵌入向量进行归一化？归一化前后对相似度计算有什么影响？本文将通过实际代码示例和对比分析，帮你彻底理解这个参数的作用。 ## 2. gte-base-zh模型简介 gte-base-zh是基于BERT框架训练的中文文本嵌入模型，专门针对中文文本进行了优化。该模型在大规模相关文本对语料库上训练，涵盖了广泛的领域和场景，能够很好地应用于信息检索、语义文本相似性、文本重排序等下游任务。 ### 2.1 模型部署与使用 使用xinference部署gte-base-zh模型非常简单。首先确保模型已下载到本地路径： ``` /usr/local/bin/AI-ModelScope/gte-base-zh ``` 启动xinference服务： ```bash xinference-local --host 0.0.0.0 --port 9997 ``` 通过启动脚本发布模型服务： ```bash /usr/local/bin/launch_model_server.py ``` ### 2.2 验证服务状态 检查模型服务是否启动成功： ```bash cat /root/workspace/model_server.log ``` 启动成功后，可以通过Web UI界面进行文本相似度比对测试。 ## 3. 理解嵌入向量归一化 ### 3.1 什么是向量归一化 向量归一化是指将向量的长度（模长）调整为1的过程。对于一个n维向量v = (v₁, v₂, ..., vₙ)，其归一化后的向量为： ``` v_normalized = v / ||v|| ``` 其中||v||是向量的欧几里得范数（长度）。 ### 3.2 为什么需要归一化 在文本嵌入中，不同文本生成的向量可能具有不同的长度。长文本往往会产生更长的向量，短文本则产生较短的向量。如果不进行归一化，向量的长度差异会影响相似度计算的结果。 ## 4. normalize_embeddings参数详解 ### 4.1 参数作用 `normalize_embeddings`参数控制是否对生成的嵌入向量进行L2归一化处理。当设置为True时，所有输出向量的长度都会被标准化为1。 ### 4.2 对余弦相似度的影响 余弦相似度的计算公式为： ``` cosine_similarity(A, B) = (A · B) / (||A|| * ||B||) ``` 当两个向量都经过归一化后（即||A|| = ||B|| = 1），公式简化为： ``` cosine_similarity(A, B) = A · B ``` 这意味着归一化后，余弦相似度就等于两个向量的点积，计算更加简单高效。 ## 5. 实际效果对比 ### 5.1 归一化前后的数值差异 让我们通过一个简单的例子来对比归一化前后的差异。假设我们有两个文本： ```python text1 = "人工智能技术" text2 = "AI技术发展" ``` 不使用归一化时，可能得到这样的相似度结果： ```python # 未归一化的向量 vec1 = [0.2, 0.3, 0.1, ...] # 长度约为1.5 vec2 = [0.15, 0.25, 0.08, ...] # 长度约为1.2 相似度 = 0.89 ``` 使用归一化后： ```python # 归一化的向量（长度都为1） vec1_normalized = [0.13, 0.2, 0.07, ...] vec2_normalized = [0.125, 0.208, 0.067, ...] 相似度 = 0.92 ``` 可以看到，归一化后的相似度数值有所变化，更能反映真实的语义相似性。 ### 5.2 不同场景下的选择建议 | 应用场景 | normalize_embeddings设置 | 原因 | |---------|-------------------------|------| | 语义相似度计算 | True | 消除向量长度影响，专注方向相似性 | | 文本检索 | True | 提高检索准确度，避免长文本优势 | | 聚类分析 | True | 使聚类结果更依赖语义而非文本长度 | | 某些特定下游任务 | False | 可能需要保留原始向量特性 | ## 6. 代码示例与实践 ### 6.1 使用gte-base-zh计算相似度 ```python import requests import numpy as np def get_embeddings(texts, normalize=True): """获取文本嵌入向量""" url = "http://localhost:9997/v1/embeddings" payload = { "model": "gte-base-zh", "input": texts, "normalize_embeddings": normalize } response = requests.post(url, json=payload) return [item['embedding'] for item in response.json()['data']] def cosine_similarity(vec1, vec2): """计算余弦相似度""" return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2)) # 示例文本 texts = ["人工智能技术", "AI技术发展", "天气预报"] # 获取归一化和未归一化的嵌入向量 embeddings_normalized = get_embeddings(texts, normalize=True) embeddings_raw = get_embeddings(texts, normalize=False) # 计算相似度对比 print("归一化后的相似度:") sim_norm = cosine_similarity(embeddings_normalized[0], embeddings_normalized[1]) print(f"文本1 vs 文本2: {sim_norm:.4f}") print("\n未归一化的相似度:") sim_raw = cosine_similarity(embeddings_raw[0], embeddings_raw[1]) print(f"文本1 vs 文本2: {sim_raw:.4f}") ``` ### 6.2 结果分析示例 运行上述代码，你可能会看到类似这样的结果： ``` 归一化后的相似度: 文本1 vs 文本2: 0.9234 未归一化的相似度: 文本1 vs 文本2: 0.8762 ``` 这种差异正是因为归一化消除了向量长度的影响，让相似度计算更专注于向量的方向一致性。 ## 7. 总结 通过本文的分析，我们可以得出以下结论： 1. **归一化的重要性**：`normalize_embeddings=True`能够消除向量长度对相似度计算的影响，使结果更准确地反映语义相似性 2. **计算效率提升**：归一化后的向量计算余弦相似度更加简单高效，直接使用点积即可 3. **应用场景选择**：在大多数语义相似性任务中，建议开启归一化选项；但在某些特定下游任务中，可能需要根据具体情况选择 4. **实践建议**：在使用gte-base-zh进行文本相似度计算时，默认开启`normalize_embeddings=True`通常能获得更好的效果 理解这个参数的作用，能够帮助我们在实际应用中做出更合适的选择，获得更准确的文本相似度计算结果。 --- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。