### 在Python中读取两个表格数据并计算余弦相似度 #### 1. **准备环境** 为了完成此任务，需要安装 `pandas` 和 `numpy` 库来处理表格数据和执行数学运算。可以通过以下命令安装必要库： ```bash pip install pandas numpy ``` --- #### 2. **加载表格数据** 假设两个表格文件分别是 CSV 文件（也可以是 Excel 或其他格式）。使用 `pandas` 加载数据表，并将其转换为适合计算的形式。 ```python import pandas as pd from sklearn.metrics.pairwise import cosine_similarity import numpy as np # 加载第一个表格 table1 = pd.read_csv('file1.csv') # 替换为实际路径 vector1 = table1.values.flatten() # 将表格展平成一维数组 # 加载第二个表格 table2 = pd.read_csv('file2.csv') # 替换为实际路径 vector2 = table2.values.flatten() # 将表格展平成一维数组 ``` 这里使用了 `.values.flatten()` 方法将整个表格转化为一个一维向量以便后续计算。 --- #### 3. **验证向量形状** 在计算之前，需确认两个向量的维度相同。如果不匹配，则无法直接计算余弦相似度。 ```python if len(vector1) != len(vector2): raise ValueError("两个向量的维度不一致，无法计算余弦相似度。") ``` --- #### 4. **计算余弦相似度** 利用 `sklearn.metrics.pairwise.cosine_similarity` 提供的功能快速计算余弦相似度。 ```python # 转换为二维矩阵形式 vectors = np.vstack([vector1, vector2]) # 计算余弦相似度 similarity_matrix = cosine_similarity(vectors) # 获取两个向量间的相似度值 cos_sim_value = similarity_matrix[0][1] print(f"两个表格数据的余弦相似度为: {cos_sim_value:.4f}") ``` 此处 `cosine_similarity` 返回的是一个对称矩阵，其中 `[0][1]` 即表示两个输入向量之间的相似度[^1]。 --- #### 5. **自定义实现方法** 如果不想依赖外部库，还可以手动实现余弦相似度公式： ```python def manual_cosine_similarity(vec_a, vec_b): dot_product = np.dot(vec_a, vec_b) norm_a = np.linalg.norm(vec_a) norm_b = np.linalg.norm(vec_b) if norm_a == 0 or norm_b == 0: return 0 # 防止除以零 cos_sim = dot_product / (norm_a * norm_b) return cos_sim manual_result = manual_cosine_similarity(vector1, vector2) print(f"手动计算的余弦相似度为: {manual_result:.4f}") ``` 这种方法更灵活，适用于特定需求下的调整[^2]。 --- #### 6. **注意事项** - 若表格中的某些列不适合用于相似度计算（如 ID 字段），应在加载后删除无关列。 - 对于稀疏数据集，建议采用稀疏矩阵存储方式优化内存占用和性能。 - 如果表格较大或存在缺失值，需提前进行清理与填充操作。 ---