在Python数据预处理过程中，识别近似重复值是提升数据质量的重要步骤。近似重复值通常指那些在文本或数值上高度相似但不完全相同的记录，常见于用户输入错误、拼写变异或格式差异等情况。 ### 近似重复值的识别方法 #### 1. **基于字符串相似度的方法** - **Levenshtein 距离**：衡量两个字符串之间的差异，即通过插入、删除或替换操作将一个字符串转换为另一个所需的最小编辑操作数。 - **Jaro-Winkler 相似度**：适用于短字符串（如姓名）的近似匹配，强调前缀的匹配程度。 - **SequenceMatcher**：Python 标准库 `difflib` 提供的工具，用于比较字符串序列并计算相似度。 ```python from difflib import SequenceMatcher def get_similarity_ratio(a, b): return SequenceMatcher(None, a, b).ratio() # 示例 similarity = get_similarity_ratio("apple", "appel") print(similarity) # 输出近似值，例如0.8 ``` #### 2. **模糊匹配库** - **FuzzyWuzzy**：基于 Levenshtein 距离实现的库，提供简洁的 API 来计算字符串相似度。 ```python from fuzzywuzzy import fuzz # 计算两个字符串的相似度 similarity = fuzz.ratio("new york mets", "new york metts") print(similarity) # 输出整数，表示相似度百分比 ``` #### 3. **MinHash 与 LSH（局部敏感哈希）** - **MinHash**：常用于大规模文本集合中查找相似文档的技术，适用于检测近似重复的文本记录。 - **LSH（Locality-Sensitive Hashing）**：通过哈希技术将相似数据映射到相同桶中，从而高效查找近似重复项。 使用 `datasketch` 库进行 MinHash 和 LSH 实现： ```python from datasketch import MinHash, MinHashLSH # 创建 LSH 结构 lsh = MinHashLSH(threshold=0.5, num_perm=128) # 添加数据 data = ["abc", "abx", "def"] for d in data: m = MinHash(num_perm=128) for ch in d: m.update(ch.encode('utf-8')) lsh.insert(d, m) # 查询近似匹配 query = "aby" m_query = MinHash(num_perm=128) for ch in query: m_query.update(ch.encode('utf-8')) result = lsh.query(m_query) print(result) # 输出与查询字符串相似的条目 ``` #### 4. **正则表达式清洗与标准化** 在识别近似重复值之前，可以使用正则表达式对数据进行标准化处理，例如统一大小写、去除空格、替换特殊字符等，以减少格式差异带来的干扰。 ```python import re def standardize(text): return re.sub(r'\s+', '', text.lower()) # 去除空格并转小写 text1 = "New York Mets" text2 = "newyorkmets" print(standardize(text1) == standardize(text2)) # 输出 True ``` #### 5. **基于 TF-IDF 与余弦相似度** 对于较长的文本字段，可以通过 TF-IDF 向量化结合余弦相似度来判断记录是否为近似重复。 ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity texts = ["apple banana orange", "apple bananna orang", "grape pear"] vectorizer = TfidfVectorizer().fit_transform(texts) vectors = vectorizer.toarray() similarity = cosine_similarity(vectors[0].reshape(1, -1), vectors[1].reshape(1, -1)) print(similarity[0][0]) # 输出 0~1 之间的相似度值 ``` --- ###