代码相似度分析通常用于检测代码重复、抄袭、或者代码风格匹配等场景。实现代码相似度分析的方法可以分为**基于文本**、**基于语法树**以及**基于向量表示**等多种方式。以下是几种常见实现方法及其 Python 示例。 ### 基于文本的相似度计算 这种方法将代码视为普通文本，使用字符串匹配或编辑距离进行相似度计算。 #### 示例：使用 Levenshtein 距离计算代码相似度 Levenshtein 距离表示两个字符串之间最少的单字符编辑操作（插入、删除、替换）数量。 ```python import Levenshtein def code_similarity(str1, str2): distance = Levenshtein.distance(str1, str2) max_len = max(len(str1), len(str2)) return 1 - distance / max_len # 相似度归一化到 [0, 1] code1 = """ def hello(): print("Hello World") """ code2 = """ def hello(): print("hello world") """ print(code_similarity(code1, code2)) # 输出相似度值 ``` ### 基于词法分析的相似度计算 该方法将代码转换为**词法单元（tokens）序列**，然后比较两个序列的相似性。 #### 示例：使用 Python 的 `tokenize` 模块提取 token 并计算 Jaccard 相似度 ```python import tokenize import io def tokenize_code(code): tokens = tokenize.generate_tokens(io.StringIO(code).readline) return set(token.string for token in tokens if token.string.strip()) def jaccard_similarity(set1, set2): intersection = len(set1 & set2) union = len(set1 | set2) return intersection / union if union != 0 else 0 code1 = """ def add(a, b): return a + b """ code2 = """ def sum(x, y): return x + y """ tokens1 = tokenize_code(code1) tokens2 = tokenize_code(code2) print(jaccard_similarity(tokens1, tokens2)) # 输出 Jaccard 相似度 ``` ### 基于抽象语法树（AST）的相似度计算 该方法将代码解析为 AST（Abstract Syntax Tree），然后比较结构的相似性。适用于检测变量名替换、格式变化等。 #### 示例：使用 `ast` 模块比较 AST 结构 ```python import ast def ast_similarity(code1, code2): try: tree1 = ast.parse(code1) tree2 = ast.parse(code2) except SyntaxError: return 0 # 语法错误则相似度为0 def ast_to_str(tree): return ''.join(f"{node}" for node in ast.walk(tree)) str1 = ast_to_str(tree1) str2 = ast_to_str(tree2) return 1 - Levenshtein.distance(str1, str2) / max(len(str1), len(str2)) code1 = """ def add(a, b): return a + b """ code2 = """ def add(x, y): return x + y """ print(ast_similarity(code1, code2)) # 输出基于 AST 的相似度 ``` ### 基于词向量或深度学习模型的相似度计算 该方法将代码转换为向量表示（如通过 CodeBERT、Doc2Vec 等模型），然后使用余弦相似度进行比较。 #### 示例：使用 Hugging Face 的 CodeBERT 模型计算相似度 ```python from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F tokenizer = AutoTokenizer.from_pretrained("microsoft/codebert-base") model = AutoModel.from_pretrained("microsoft/codebert-base") def get_embedding(code): inputs = tokenizer(code, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs) return outputs.last_hidden_state.mean(dim=1) # 取平均向量作为句向量 code1 = "def add(a, b): return a + b" code2 = "def sum(x, y): return x + y" emb1 = get_embedding(code1) emb2 = get_embedding(code2) similarity = F.cosine_similarity(emb1, emb2).item() print(similarity) # 输出余弦相似度 ``` ### 总结 | 方法 | 特点 | 适用场景 | |------|------|----------| | Levenshtein 距离 | 简单高效，适合短代码段 | 快速检测 | | Jaccard 相似度 | 关注词汇重合 | 词法分析 | | AST 比较 | 检测结构变化 | 代码抄袭检测 | | CodeBERT 等模型 | 语义级比较 | 高级代码分析 | 上述方法可根据具体需求组合使用，例如先进行 AST 比较，再结合词向量进行语义相似度分析，以提升准确率。