### Python 敏感词过滤工具或库 在 Python 中，存在多种用于敏感词过滤的工具和库。这些工具通常采用高效的算法（如 DFA 算法），并支持自定义敏感词列表以及白名单功能。 #### 工具与库介绍 1. **better-profanity** `better-profanity` 是一个流行的 Python 库，专门用于敏感词过滤。它允许加载自定义的敏感词文件，并可以通过白名单机制排除特定词语[^2]。 安装命令如下： ```bash pip install better-profanity ``` 使用示例： ```python from better_profanity import profanity # 加载自定义敏感词文件 profanity.load_censor_words_from_file('/path/to/sensitive_words.txt') # 添加白名单单词 profanity.whitelist_words(['example']) text = "This is a test with badword" censored_text = profanity.censor(text) print(censored_text) # 输出: This is a test with ***** ``` 2. **DFA 算法实现** 基于 Deterministic Finite Automaton (DFA) 的敏感词过滤是一种高效的方法。该算法通过构建状态转移表，在单次遍历文本的过程中完成所有敏感词的匹配[^3]。 下面是一个简单的 DFA 实现代码： ```python class DFASensitiveWordFilter: def __init__(self, sensitive_words): self.trie = {} for word in sensitive_words: node = self.trie for char in word: if char not in node: node[char] = {} node = node[char] node['is_end'] = True def filter(self, text, replace_char='*'): result = [] i = 0 while i < len(text): j = i node = self.trie match_length = None while j < len(text) and text[j] in node: node = node[text[j]] if 'is_end' in node: match_length = j - i + 1 j += 1 if match_length: result.append(replace_char * match_length) i += match_length else: result.append(text[i]) i += 1 return ''.join(result) # 示例使用 words_to_filter = ['bad', 'ugly'] dfa_filter = DFASensitiveWordFilter(words_to_filter) filtered_text = dfa_filter.filter('This is a bad example of ugly code.') print(filtered_text) # 输出: This is a *** example of *** code. ``` 3. **GitCode 开源项目** 参考开源项目提供了基于 1w 词敏感词库的 Python 实现[^1]。该项目不仅包含了完整的敏感词过滤逻辑，还附带了一个大规模的敏感词数据集。开发者可以直接克隆仓库并集成到自己的应用中。 克隆命令： ```bash git clone https://gitcode.com/open-source-toolkit/716c7.git ``` #### 总结 以上介绍了三种常见的 Python 敏感词过滤方案：`better-profanity` 库、DFA 算法手动实现以及 GitCode 上的开源项目。每种方法各有优劣，具体选择取决于实际需求和技术背景。 ---