### 使用Python实现公司年报的词频统计与文本分析 为了完成公司年报的词频统计与文本分析，可以按照以下方法构建解决方案。此方案涉及多个步骤，包括数据准备、文本预处理、分词、词频统计以及结果展示。 #### 数据准备 首先需要获取公司的年报文件。通常这些文件是以PDF或TXT格式存储的。如果文件是PDF格式，则需将其转换为纯文本形式以便进一步处理。可使用`PyPDF2`库提取PDF中的文本内容[^1]。 ```python import PyPDF2 def extract_text_from_pdf(pdf_path): with open(pdf_path, 'rb') as file: reader = PyPDF2.PdfReader(file) text = "" for page in reader.pages: text += page.extract_text() return text ``` #### 文本预处理 在进行分词前，应对文本做必要的清理工作，比如去除特殊字符、停用词等。这一步骤可以通过正则表达式配合`re`模块完成[^1]。 ```python import re def preprocess(text): # 移除非汉字字符并转为小写 cleaned_text = re.sub(r'[^\u4e00-\u9fa5]', '', text.lower()) return cleaned_text ``` #### 分词操作 对于中文文本而言，分词是一项重要任务。这里推荐采用`jieba`库来进行高效的中文分词[^2]。此外，在实际应用中可能还需要自定义一些特定词汇加入到分词字典里以提高准确性。 ```python import jieba def segment(text, user_dict=None): if user_dict is not None: jieba.load_userdict(user_dict) # 加载用户自定义词典 words = list(jieba.cut(text)) return words ``` #### 词频统计 利用`collections.Counter`能够快速计算词语出现频率；而通过`pandas.DataFrame`可以把统计数据整理成表格形式便于查看和导出[^1]。 ```python from collections import Counter import pandas as pd def count_words(words_list, top_n=10): counter = Counter(words_list) most_common = counter.most_common(top_n) df = pd.DataFrame(most_common, columns=['Word', 'Frequency']) return df ``` 最后将以上各部分组合起来形成完整的流程： ```python if __name__ == "__main__": pdf_file = "annual_report.pdf" raw_text = extract_text_from_pdf(pdf_file) processed_text = preprocess(raw_text) segmented_result = segment(processed_text, user_dict="custom_dictionary.txt") result_df = count_words(segmented_result, top_n=20) print(result_df) result_df.to_csv("word_frequency.csv", index=False, encoding='utf_8_sig') ```