### 使用Python对两个文本数据集进行统计分析和比较 #### 数据准备与加载 为了有效地对比两个文本数据集，首先需要确保这两个数据集已经被正确读取并存储到合适的数据结构中。通常情况下会使用`pandas.DataFrame`来保存文本数据。 ```python import pandas as pd # 假设我们有两个CSV文件作为输入源 data_set_1 = pd.read_csv('dataset1.csv') data_set_2 = pd.read_csv('dataset2.csv') print(data_set_1.head()) # 查看第一个数据集中前几条记录 print(data_set_2.head()) # 查看第二个数据集中前几条记录 ``` #### 文本清洗 在执行任何类型的统计之前，清理文本是非常重要的一步。这可能涉及到去除停用词、标点符号以及转换大小写等操作。这里可以利用NLTK库来进行基本的预处理工作[^1]。 ```python from nltk.corpus import stopwords from nltk.tokenize import word_tokenize import string def clean_text(text): stop_words = set(stopwords.words('english')) words = word_tokenize(text.lower()) cleaned_words = [word for word in words if word not in stop_words and word.isalnum()] return ' '.join(cleaned_words) data_set_1['cleaned_text'] = data_set_1['text'].apply(clean_text) data_set_2['cleaned_text'] = data_set_2['text'].apply(clean_text) ``` #### 统计描述性指标 对于每个数据集而言，可以通过计算诸如平均长度、字符数分布之类的简单度量标准来获取初步印象。此外还可以考虑其他更复杂的特性比如词汇多样性等等。 ```python for name, dataset in zip(['Dataset 1', 'Dataset 2'], [data_set_1, data_set_2]): avg_length = dataset['cleaned_text'].str.len().mean() char_distribution = dataset['cleaned_text'].str.count(r'\w').value_counts(normalize=True).sort_index() print(f"\nStatistics of {name}:") print(f"Average Length: {avg_length:.2f}") print("Character Distribution:\n", char_distribution[:5]) # 只显示前五个最常见的字符数量及其比例 ``` #### 计算词频 通过构建词袋模型（Bag-of-Words），能够直观地看到哪些词语在这两组文档中最常出现。借助于`sklearn.feature_extraction.text.CountVectorizer`可以帮助快速完成这项任务[^2]。 ```python from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer(max_features=1000) # 设置最大特征数目为1000 X1 = vectorizer.fit_transform(data_set_1['cleaned_text']).toarray() X2 = vectorizer.transform(data_set_2['cleaned_text']).toarray() # 注意此处仅需调用transform方法因为已经fit过了 feature_names = vectorizer.get_feature_names_out() df_bow_1 = pd.DataFrame(X1, columns=feature_names) df_bow_2 = pd.DataFrame(X2, columns=feature_names) top_n = 10 top_words_ds1 = df_bow_1.sum(axis=0).nlargest(top_n) top_words_ds2 = df_bow_2.sum(axis=0).nlargest(top_n) print("\nTop Words in Dataset 1:") print(top_words_ds1) print("\nTop Words in Dataset 2:") print(top_words_ds2) ``` #### 应用TF-IDF算法 除了简单的词频之外，还应该考虑到某个特定术语在整个语料库中的重要程度。此时就可以引入TF-IDF权重方案，在此过程中同样依赖于Scikit-Learn提供的功能。 ```python from sklearn.feature_extraction.text import TfidfTransformer tfidf_transformer = TfidfTransformer(smooth_idf=True, use_idf=True) tfidf_matrix_1 = tfidf_transformer.fit_transform(df_bow_1) tfidf_matrix_2 = tfidf_transformer.transform(df_bow_2) df_tfidf_1 = pd.DataFrame(tfidf_matrix_1.toarray(), columns=feature_names) df_tfidf_2 = pd.DataFrame(tfidf_matrix_2.toarray(), columns=feature_names) average_tfidf_scores_1 = df_tfidf_1.mean(axis=0).nlargest(10) average_tfidf_scores_2 = df_tfidf_2.mean(axis=0).nlargest(10) print("\nHighest Average TF-IDF Scores in Dataset 1:") print(average_tfidf_scores_1) print("\nHighest Average TF-IDF Scores in Dataset 2:") print(average_tfidf_scores_2) ```