以下是基于 `jieba` 库的中英文关键词提取代码示例，总长度约为100行： ### 基于 Jieba 的中文关键词提取 ```python import jieba import jieba.analyse from collections import Counter def extract_chinese_keywords(text, topK=10): """ 使用 jieba 提取中文文本的关键字 :param text: 输入的中文文本 :param topK: 返回关键字的数量，默认为 10 :return: 关键字列表及其权重 """ # TF-IDF 方法提取关键词 tfidf_keywords = jieba.analyse.extract_tags(text, topK=topK, withWeight=True) # TextRank 方法提取关键词 textrank_keywords = jieba.analyse.textrank(text, topK=topK, withWeight=True) return tfidf_keywords, textrank_keywords # 测试函数 if __name__ == "__main__": chinese_text = ( "Python是一种广泛使用的高级编程语言，具有简单易学的特点。" "它支持多种编程范式，包括面向对象、命令式和函数式编程。" "Python被应用于Web开发、数据分析、人工智能等多个领域。" ) print("原始文本:", chinese_text) # 获取关键词 tfidf_result, textrank_result = extract_chinese_keywords(chinese_text, topK=5) print("\nTF-IDF 方法提取的关键词:") for keyword, weight in tfidf_result: print(f"{keyword}: {weight:.4f}") print("\nTextRank 方法提取的关键词:") for keyword, weight in textrank_result: print(f"{keyword}: {weight:.4f}") ``` 以上代码实现了两种常见的中文关键词提取方法：**TF-IDF** 和 **TextRank**[^1]。`extract_chinese_keywords` 函数接收一段中文文本并返回两个结果——基于 TF-IDF 和 TextRank 的关键词列表。 --- ### 英文关键词提取 对于英文关键词提取，可以利用 `sklearn.feature_extraction.text.TfidfVectorizer` 来实现： ```python from sklearn.feature_extraction.text import TfidfVectorizer from nltk.corpus import stopwords from nltk.tokenize import word_tokenize import string def preprocess_text(text): """ 预处理英文文本，去除停用词和标点符号 :param text: 输入的英文文本 :return: 清洗后的单词列表 """ stop_words = set(stopwords.words('english')) words = word_tokenize(text.lower()) filtered_words = [ word.strip(string.punctuation) for word in words if word not in stop_words and word.isalpha() ] return filtered_words def extract_english_keywords(texts, topK=10): """ 使用 TF-IDF 提取英文文本的关键字 :param texts: 输入的英文文本列表 :param topK: 返回关键字的数量，默认为 10 :return: 关键字及其对应的 TF-IDF 分数 """ vectorizer = TfidfVectorizer(tokenizer=lambda x: preprocess_text(x)) X = vectorizer.fit_transform(texts) feature_names = vectorizer.get_feature_names_out() result = {} for i, row in enumerate(X.toarray()): scores = sorted(list(zip(feature_names, row)), key=lambda x: x[1], reverse=True)[:topK] result[f"text_{i+1}"] = [(word, round(score, 4)) for word, score in scores] return result # 测试函数 if __name__ == "__main__": english_texts = [ "Python is an interpreted high-level general-purpose programming language.", "Its design philosophy emphasizes code readability with its notable use of significant indentation.", "It supports multiple programming paradigms including structured object-oriented and functional programming." ] keywords_dict = extract_english_keywords(english_texts, topK=5) print("\nEnglish Keywords Extraction Results:") for k, v in keywords_dict.items(): print(f"\n{k}:") for word, score in v: print(f"{word}: {score}") ``` 这段代码展示了如何使用 **TfidfVectorizer** 对英文文本进行预处理和关键词提取。`preprocess_text` 函数负责清洗文本，移除停用词和标点符号；而 `extract_english_keywords` 则计算每篇文档的关键词及其对应分数[^3]。 --- ### 综合应用案例 如果需要同时处理中英文混合文本，则可以通过检测语言类型来决定采用哪种算法： ```python from langdetect import detect def auto_extract_keywords(text, topK=10): """ 自动判断语言类型并提取关键词 :param text: 输入文本 :param topK: 返回关键字的数量，默认为 10 :return: 关键字及其权重 """ try: lang = detect(text[:100]) except Exception as e: lang = "unknown" if lang.startswith("zh"): return extract_chinese_keywords(text, topK=topK)[0] elif lang.startswith("en"): return list(extract_english_keywords([text], topK=topK).values())[0] else: raise ValueError("Unsupported language detected!") # 测试自动关键词提取功能 if __name__ == "__main__": mixed_text = "Python是一个强大的编程语言，广泛用于机器学习和数据科学。Python is widely used in machine learning and data science due to its simplicity." print("\nAuto Keyword Extraction Result:") keywords = auto_extract_keywords(mixed_text, topK=5) for word, weight in keywords: print(f"{word}: {weight:.4f}") ``` 此部分扩展了前面的功能，增加了对中英双语的支持，并通过 `langdetect` 模块动态选择合适的关键词提取策略[^2]。 --- #### 总结 上述代码提供了完整的中英文关键词提取方案，覆盖了从基础库调用到实际场景的应用全流程。无论是单独针对某一种语言还是应对复杂的多语言环境，都能满足需求。