### 实现基于BTM的主题建模 为了实现基于BTM（Biterm Topic Modeling）的主题提取，可以利用 `bitermplus` 库来完成这一任务。该库提供了高效的接口用于构建和训练二项模型。以下是完整的解决方案。 #### 安装依赖库 首先需要安装必要的库，可以通过以下命令完成： ```bash pip install bitermplus gensim nltk scikit-learn ``` 这些库分别提供如下功能： - **bitermplus**: 提供核心的BTM算法支持[^1]。 - **gensim**: 处理语料预处理以及词向量转换。 - **nltk**: 自然语言工具包，用于分词和其他文本清洗操作。 - **scikit-learn**: 评估主题质量时可能需要用到的一些指标计算方法。 #### 数据准备与预处理 在实际应用之前，需对原始数据集进行清理并转化为适合输入的形式： ```python import re from sklearn.feature_extraction.text import CountVectorizer from nltk.corpus import stopwords from nltk.tokenize import word_tokenize import nltk # 下载NLTK资源 nltk.download('punkt') nltk.download('stopwords') def preprocess(texts, stop_words=None): """ 对文档集合执行基本的数据预处理 """ processed_texts = [] for text in texts: # 转换为小写形式 text = text.lower() # 移除非字母字符 text = re.sub(r'[^a-z\s]', '', text) # 分词化 tokens = word_tokenize(text) # 去除停用词 if not stop_words: stop_words = set(stopwords.words('english')) filtered_tokens = [word for word in tokens if word not in stop_words and len(word) > 2] processed_texts.append(" ".join(filtered_tokens)) return processed_texts # 示例数据 corpus = [ "Python is a great programming language", "Java has been widely used across industries", "Machine learning algorithms are fascinating" ] processed_corpus = preprocess(corpus) vectorizer = CountVectorizer(binary=True).fit(processed_corpus) vocab = vectorizer.get_feature_names_out() # 获取词汇表 X = vectorizer.transform(processed_corpus) # 文档-单词矩阵 print(f"Vocabulary size: {len(vocab)}") ``` 上述代码完成了简单的文本预处理流程，并创建了一个稀疏表示的文档-词语矩阵作为后续步骤的基础[^2]。 #### 构造二元组 (Biterms) 由于BTM特别关注两个词之间的共现关系，因此我们需要从每篇文档中抽取所有的可能组合形成所谓的“biterms”。 ```python import numpy as np from itertools import combinations def generate_biterms(doc_word_matrix): """ 将文档中的所有成对标记生成出来 """ docs_biterms = [] for doc_idx in range(doc_word_matrix.shape[0]): words_in_doc = list(np.where(doc_word_matrix[doc_idx].toarray()[0]==1)[0]) pairs = [(w1, w2) for w1,w2 in combinations(words_in_doc, r=2)] docs_biterms.extend(pairs) return np.array(docs_biterms), vocab btm_data, vocabulary = generate_biterms(X) print(btm_data[:5]) # 查看前几个样本 ``` 此部分通过遍历每个文档找到其中存在的任意两两配对情况，从而得到最终可用于训练阶段的一系列二元组列表[^3]。 #### 训练BTM模型 最后一步就是初始化参数设置好之后调用API来进行正式的学习过程了！ ```python from bitermplus import BTM num_topics = 3 # 主题数量设定 model = BTM( X=btm_data, V=vocabulary.tolist(), T=num_topics, M=len(corpus), alpha=50/num_topics, beta=0.01 ) for iteration in model.run(iterations=20): pass # 运行迭代优化程序 topic_distribution_per_document = model.phi_wz.T @ model.theta_dz.T print(topic_distribution_per_document.round(3)) # 输出各篇文章对应各类别的概率分布状况 ``` 以上展示了如何定义超参并通过多次循环更新直至收敛为止的过程；另外还打印出了关于各个类别下不同关键词权重的信息以便进一步分析解读[^4]。 --- ###