### Squared L2 Norm 与 Cosine Similarity 的比较 #### 定义与计算方式 Squared L2 norm（平方L2范数），也称为欧几里得距离的平方，用于衡量两个向量之间的绝对差异。对于给定的文档表示 \( \mathbf{a} \) 和 \( \mathbf{b} \)，其定义如下： \[ d(\mathbf{a},\mathbf{b}) = (\mathbf{a}-\mathbf{b})^\top (\mathbf{a}-\mathbf{b})=\sum_{i}(a_i-b_i)^2 \] Cosine similarity 则关注的是两个非零向量间的夹角余弦值，它反映了方向上的相似程度而非大小上的差距。具体表达式为: \[ s(\mathbf{a},\mathbf{b}) = \frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|_2\|\mathbf{b}\|_2}= \cos(\theta) \] 其中 \( \|.\|_2 \) 表示L2范数。 #### 特点对比 - **尺度不变性**：Cosine similarity 对于不同长度但指向相同方向的向量给出相同的评分；而 squared L2 distance 更多地依赖于数值本身的大小变化。 - **数据分布敏感度**：当处理高维稀疏矩阵时，比如文本分类中的词袋模型，cosine similarity 能够更好地捕捉到语义信息，因为此时大多数维度都是0，只有少数几个位置有实际意义[^1]。 - **解释能力**：由于 cosine similarity 是基于角度测量的，因此更容易被直观理解——即两篇文章越接近平行，则它们的内容就越相似。相反，squared L2 distances 提供了一个关于“多远”的概念，这可能更难直接关联到人类感知的距离感上。 #### Python 实现例子 下面是一个简单的Python实现来展示这两种方法如何应用于一对随机生成的向量之间： ```python import numpy as np from scipy.spatial.distance import pdist, squareform def compute_similarity(a, b): l2_dist = ((a - b)**2).sum() cos_sim = a.dot(b)/(np.linalg.norm(a)*np.linalg.norm(b)) print(f"Squared L2 Distance: {l2_dist}") print(f"Cosine Similarity: {cos_sim}") # 随机创建两个向量作为测试案例 vector_a = np.random.rand(5) vector_b = np.random.rand(5) compute_similarity(vector_a, vector_b) ```