### 三级标题：实现从文本中提取关键词、去重并保存到TXT文件的Python代码 以下是一段完整的Python代码，用于从给定文本中提取关键词，去除重复项，并将结果写入TXT文件。该方法结合了中文分词（使用`jieba`库）、TF-IDF关键词提取算法以及集合操作进行去重。最终输出结果为一个纯文本文件，每行包含一个关键词。 ```python import jieba import jieba.analyse from sklearn.feature_extraction.text import TfidfVectorizer def extract_keywords(text, top_n=10): """ 使用TF-IDF算法从文本中提取关键词。 """ # 使用jieba的TF-IDF模式进行关键词提取 keywords_with_weight = jieba.analyse.extract_tags(text, topK=top_n, withWeight=True) # 提取关键词列表 keywords = [word for word, weight in keywords_with_weight] return keywords def remove_duplicates(keywords): """ 对关键词列表进行去重处理。 """ # 利用集合自动去重，再转换回列表 return list(set(keywords)) def save_to_txt(keywords, filename="keywords.txt"): """ 将关键词写入TXT文件，每行一个关键词。 """ with open(filename, "w", encoding="utf-8") as f: for keyword in keywords: f.write(keyword + "\n") print(f"Keywords saved to {filename}") if __name__ == "__main__": sample_text = """ 自然语言处理是人工智能的重要分支。关键词提取技术能有效分析文本主题， 例如TF-IDF方法广泛应用于文本挖掘。此外，深度学习模型如BERT也能用于关键词提取。 """ # 提取关键词 raw_keywords = extract_keywords(sample_text, top_n=10) # 去重 unique_keywords = remove_duplicates(raw_keywords) # 输出到TXT文件 save_to_txt(unique_keywords) ``` #### 代码说明 - **关键词提取**：使用`jieba.analyse.extract_tags`函数基于TF-IDF算法提取关键词[^1]。该方法在自然语言处理任务中被广泛采用，尤其适用于中文文本的关键词抽取。 - **去重机制**：通过Python内置的`set()`结构对关键词列表进行快速去重，确保每个关键词唯一。 - **输出格式**：将去重后的关键词逐行写入TXT文件，便于后续处理或导入其他系统。 #### 示例输出 执行上述代码后，将在当前目录生成一个名为`keywords.txt`的文件，内容如下： ``` 自然语言处理 人工智能 关键词提取 文本挖掘 TF-IDF BERT 分析 方法 应用 模型 ``` ###