### 安装和使用NLTK包 #### 安装NLTK库 为了安装自然语言工具包（Natural Language Toolkit, NLTK），可以利用`pip`这个Python的软件包管理器。对于大多数用户来说，在命令行执行如下命令即可完成安装： ```bash pip install nltk ``` 如果是在Jupyter Notebook环境中，则可以在单元格内运行以下代码来实现相同目的[^1]。 #### 导入并初始化NLTK 一旦成功安装了NLTK之后，就可以在Python脚本或交互式解释器中导入它，并准备开始处理文本数据。通常情况下，还需要下载一些额外的数据文件才能使某些功能正常工作。这可以通过调用`nltk.download()`函数来完成，该函数允许一次性获取所需资源，从而避免后续重复下载[^4]。 ```python import nltk nltk.download('popular') # 下载常用的数据集 ``` #### 使用词干提取（Stemming） NLTK提供了多种方法来进行词语标准化操作，其中包括词干提取。这些算法旨在去除单词的不同形态变化形式，返回其基本形式。例如，Porter Stemmer是一个广泛应用的选择之一。 ```python from nltk.stem import PorterStemmer stemmer = PorterStemmer() print(stemmer.stem("running")) # 输出 'run' ``` #### 进行词形还原（Lemmatization） 除了词干提取外，另一种常见的做法是采用词形还原来获得更精确的结果。在此之前建议先下载相应的语料库以确保过程顺利进行[^3]。 ```python from nltk.stem import WordNetLemmatizer lemmatizer = WordNetLemmatizer() print(lemmatizer.lemmatize("better", pos="a")) # 需要指定词性的参数，默认为名词'n'；这里设置为形容词'a', 输出 'good' ``` #### POS标注 POS (Part Of Speech) 标注用于识别句子中的各个成分属于哪一类词汇类别，比如动词、名词等。此功能同样依赖于预先加载好的训练材料，而`pos_tag`函数会在必要时自动帮助我们完成这项任务。 ```python tokens = ['the', 'little', 'yellow', 'dog'] tagged_tokens = nltk.pos_tag(tokens) for token in tagged_tokens: print(token) ```