### 上市公司年报批量词频分析的方法 要对上市公司年报进行批量词频分析，可以采用以下技术栈和方法： #### 数据预处理阶段 在开始词频分析之前，需要先完成数据的清洗和预处理。这一步骤通常包括去除停用词、标点符号以及特殊字符等内容[^1]。 ```python import re from collections import Counter from nltk.corpus import stopwords def preprocess_text(text): stop_words = set(stopwords.words('english')) text = re.sub(r'[^\w\s]', '', text.lower()) # 去除标点符号并转换为小写 words = text.split() filtered_words = [word for word in words if word not in stop_words] return filtered_words ``` 上述代码展示了如何通过正则表达式清理文本，并利用NLTK库中的`stopwords`模块移除英文停用词[^3]。 #### 批量读取与存储 为了实现批量处理功能，可以通过编写脚本自动遍历指定路径下的所有PDF或TXT文件，并逐一加载其内容。如果目标文件是PDF格式，则需借助第三方库如PyPDF2来解析；如果是纯文本文件，则可以直接打开读取。 ```python import os from PyPDF2 import PdfReader def read_pdf(file_path): reader = PdfReader(file_path) content = "" for page in reader.pages: content += page.extract_text() or "" # 防止某些页面无文字的情况 return content.strip() def batch_read_files(directory, file_extension=".pdf"): all_texts = [] for root, _, files in os.walk(directory): for file_name in files: if file_name.endswith(file_extension): full_path = os.path.join(root, file_name) if file_extension == ".pdf": text = read_pdf(full_path) elif file_extension == ".txt": with open(full_path, 'r', encoding='utf-8') as f: text = f.read().strip() all_texts.append((file_name, text)) return all_texts ``` 此部分实现了从本地磁盘上递归查找特定扩展名的文件，并调用相应函数获取它们的内容。 #### 统计词频 对于每一份报告，在完成了初步的数据净化之后就可以计算其中各个词语出现次数了。这里推荐使用Python内置的`collections.Counter`类来进行高效统计操作。 ```python def calculate_word_frequency(documents): total_counter = Counter() individual_counters = {} for doc_id, raw_content in documents: processed_words = preprocess_text(raw_content) counter = Counter(processed_words) total_counter.update(counter) individual_counters[doc_id] = dict(counter.most_common()) return total_counter, individual_counters ``` 该函数接收一组文档作为输入参数，返回整体词汇频率分布以及单份文档内的独立结果集。 #### 可视化展示 最后还可以考虑将最终得到的结果绘制成柱状图或者词云等形式以便于观察理解趋势变化情况。 ```python from wordcloud import WordCloud import matplotlib.pyplot as plt def generate_word_cloud(word_freq_dict): wc = WordCloud(width=800, height=400, background_color="white").generate_from_frequencies(word_freq_dict) plt.figure(figsize=(10, 5)) plt.imshow(wc, interpolation='bilinear') plt.axis("off") plt.show() ``` 以上就是整个流程的一个简单概述。