在学术研究中，Python 提供了多种用于文本内容分析和提取的工具和库。以下是一些常见的文本分析任务及其对应的代码示例，涵盖文本预处理、关键词提取、情感分析和聚类分析等方面。 ### 文本预处理 文本预处理是文本分析的第一步，通常包括去除标点符号、停用词、数字，以及词干提取或词形还原等操作。 ```python import nltk from nltk.corpus import stopwords from nltk.stem import PorterStemmer import string # 下载必要的资源 nltk.download('stopwords') nltk.download('punkt') # 初始化词干提取器 ps = PorterStemmer() # 定义停用词列表 stop_words = set(stopwords.words('english')) # 定义预处理函数 def preprocess_text(text): # 转换为小写 text = text.lower() # 去除标点符号 text = text.translate(str.maketrans('', '', string.punctuation)) # 分词 tokens = nltk.word_tokenize(text) # 去除停用词并进行词干提取 filtered_tokens = [ps.stem(w) for w in tokens if w not in stop_words] return ' '.join(filtered_tokens) # 示例文本 text = "This is an example sentence, showing preprocessing steps." processed_text = preprocess_text(text) print(processed_text) ``` ### 关键词提取（TF-IDF） TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的关键词提取方法，用于衡量一个词在文档中的重要程度。 ```python from sklearn.feature_extraction.text import TfidfVectorizer # 示例文档集合 documents = [ "This is the first document.", "This document is the second document.", "And this is the third one.", "Is this the first document?" ] # 初始化TfidfVectorizer tfidf_vectorizer = TfidfVectorizer() # 生成TF-IDF矩阵 X_tfidf = tfidf_vectorizer.fit_transform(documents) # 输出TF-IDF矩阵和特征名称 print(X_tfidf.toarray()) print(tfidf_vectorizer.get_feature_names_out()) ``` ### 情感分析 情感分析用于判断文本的情感倾向，常用库包括 `TextBlob` 和 `VADER`（适用于社交媒体文本）。 #### 使用 TextBlob 进行情感分析 ```python from textblob import TextBlob # 示例文本 text = "I love programming, it's amazing and exciting!" # 创建TextBlob对象 blob = TextBlob(text) # 获取情感极性 sentiment = blob.sentiment print(f"Polarity: {sentiment.polarity}, Subjectivity: {sentiment.subjectivity}") ``` #### 使用 Dask 进行并行情感分析 ```python import dask.bag as db from textblob import TextBlob # 定义情感分析函数 def get_sentiment(text): return TextBlob(text).sentiment.polarity # 示例评论列表 comments = ["I love this product!", "This is the worst experience.", "Great service and quality."] bag = db.from_sequence(comments, npartitions=2) # 并行应用情感分析函数 sentiments = bag.map(get_sentiment).compute() print(sentiments) ``` ### 文本聚类分析 文本聚类是一种无监督学习方法，常用于将相似的文本分组。K-Means 是一种常用的聚类算法。 ```python from sklearn.cluster import KMeans from sklearn.feature_extraction.text import TfidfVectorizer # 示例文档集合 documents = [ "This is the first document.", "This document is the second document.", "And this is the third one.", "Is this the first document?", "Another example document for clustering." ] # 生成TF-IDF特征 vectorizer = TfidfVectorizer(stop_words='english') X = vectorizer.fit_transform(documents) # 应用K-Means聚类 kmeans = KMeans(n_clusters=2, random_state=0).fit(X) labels = kmeans.labels_ # 输出聚类结果 for i, label in enumerate(labels): print(f"Document {i}: Cluster {label}") ``` 以上代码示例涵盖了文本分析的主要步骤，适用于学术研究中的文本内容分析和提取任务。