### Python 中实现关键词提取 #### 使用 `jieba` 库进行关键词提取 `jieba` 是一个强大的中文分词库，支持多种文本处理功能。对于关键词提取，`jieba` 提供了两种经典的算法：TF-IDF 和 TextRank。 通过调用 `extract_tags()` 函数可以方便地获取文档中的重要词汇： ```python import jieba.analyse text = "这里是一段待分析的文本" keywords_tfidf = jieba.analyse.extract_tags(text, topK=20, withWeight=False) print("基于 TF-IDF 的关键词:", keywords_tfidf) # 如果想要使用TextRank算法，则需指定algorithm参数为'textrank' keywords_textrank = jieba.analyse.textrank(text, topK=20, withWeight=False) print("基于 TextRank 的关键词:", keywords_textrank) ``` 上述代码展示了如何利用 `jieba` 进行关键词抽取[^1]。 #### 自定义权重计算函数 除了依赖于默认设置外，还可以自定义一些辅助函数来增强效果。例如，在某些场景下可能希望调整 IDF 权重计算方式： ```python import numpy as np def custom_idf_weight(doc_term_matrix): """ 计算IDF权值 """ N = doc_term_matrix.shape[0] df = (doc_term_matrix > 0).sum(axis=0) idf = np.log((N + 1) / (df + 1)) + 1 return idf.tolist()[0] corpus = ["这是一篇测试文章", "另一篇文章用来验证"] from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer() X = vectorizer.fit_transform(corpus) idf_weights = custom_idf_weight(X.toarray()) print(idf_weights) ``` 这段代码实现了自定义的 IDF 权重计算逻辑，并应用于给定语料库中[^2]。 #### 结合词性和上下文信息 为了更精准地捕捉到有意义的关键短语，有时还需要考虑词语的位置关系及其语法角色。此时可借助其他工具如 `gensim` 或者配置 `jieba` 输出带有 POS Tagging 的结果： ```python seg_list_with_pos = list(jieba.cut_for_search(sentence="中国科学院软件研究所")) if withFlag: seg_list_with_pos = [(w, p) for w, p in jieba.posseg.cut(sentence)] else: seg_list_with_pos = [w for w in jieba.cut(sentence)] for word_info in seg_list_with_pos[:5]: print(word_info) ``` 此部分代码片段演示了当开启 `withFlag=True` 参数时，能够获得包含词性的分割列表；反之则只得到单词本身[^3]。