### PyTorch 中实现 TF-IDF 的方法 尽管 PyTorch 是一个强大的深度学习框架，但它本身并未直接提供内置的 TF-IDF 计算功能[^1]。然而，可以借助其他工具（如 `sklearn` 或自定义函数）来计算 TF-IDF 向量，并将其作为输入传递给 PyTorch 模型。 以下是通过 Python 和 PyTorch 结合的方式实现 TF-IDF 的一种常见流程： #### 使用 Scikit-Learn 预处理数据并转换为 PyTorch 张量 Scikit-learn 提供了一个简单易用的接口来计算 TF-IDF 值。可以通过以下方式完成预处理并将结果导入到 PyTorch 中。 ```python from sklearn.feature_extraction.text import TfidfVectorizer import torch # 定义语料库 corpus = [ 'This is the first document.', 'This document is the second document.', 'And this is the third one.', 'Is this the first document?', ] # 初始化 TF-IDF 转换器 vectorizer = TfidfVectorizer() # 将文本转化为稀疏矩阵形式 X_sparse = vectorizer.fit_transform(corpus) # 将稀疏矩阵转为密集张量 X_dense = X_sparse.toarray() tensor_X = torch.tensor(X_dense, dtype=torch.float32) # 转化为 PyTorch 张量 print(tensor_X.shape) # 输出形状 (样本数, 特征维度) ``` 上述代码展示了如何利用 scikit-learn 来生成 TF-IDF 表示，并进一步将这些特征嵌入到 PyTorch 数据流中[^2]。 #### 自定义实现 TF-IDF 如果希望完全依赖 PyTorch 实现而不引入额外库，则需手动编写逻辑以模拟 TF-IDF 的核心运算过程。这涉及以下几个方面： 1. **词频 (Term Frequency)**：统计每个单词在单篇文档中的出现次数。 2. **逆文档频率 (Inverse Document Frequency)**：衡量某个词语在整个语料库中的普遍程度。 下面是一个简单的例子展示如何仅使用 NumPy 和 PyTorch 手动构建 TF-IDF 矩阵： ```python import numpy as np import torch def compute_tf(texts): """ 计算每篇文章内的词频 """ vocab = set(word for text in texts for word in text.split()) tf_matrix = [] for doc in texts: words_in_doc = doc.split() freq_dict = {word: words_in_doc.count(word)/len(words_in_doc) for word in vocab} tf_matrix.append([freq_dict.get(word, 0) for word in sorted(vocab)]) return np.array(tf_matrix), list(sorted(vocab)) def compute_idf(texts, vocab): """ 计算全局的 IDF""" idf_values = {} num_docs = len(texts) for idx, word in enumerate(vocab): count = sum(1 for doc in texts if word in doc.split()) idf_value = np.log(num_docs / (count + 1)) + 1 idf_values[word] = idf_value return np.array([idf_values[w] for w in vocab]) texts = ["this is a test", "test me now", "is it working"] tf_matrix, vocab = compute_tf(texts) idf_vector = compute_idf(texts, vocab) # 构建最终的 TF-IDF 矩阵 tfidf_matrix = tf_matrix * idf_vector tensor_tfidf = torch.tensor(tfidf_matrix, dtype=torch.float32) print(tensor_tfidf) ``` 此脚本实现了基础版的手工 TF-IDF 处理机制[^3]。 #### 关于 TF-IDF 的历史背景与发展 TF-IDF 技术最早由 Karen Spärck Jones 在她的研究工作中提出，并逐渐成为自然语言处理领域的重要组成部分之一[^4]。它广泛应用于搜索引擎优化、信息检索以及机器学习模型训练等领域。 ---