使用 Python 进行中文自然语言处理（Chinese NLP）需要一些特定的工具和库，因为中文不像英文那样有天然的空格分隔单词。中文 NLP 通常包括以下步骤： - **分词（Tokenization / Word Segmentation）** - **词性标注（POS Tagging）** - **命名实体识别（NER）** - **依存句法分析（Dependency Parsing）** - **情感分析（Sentiment Analysis）** 以下是使用 Python 实现中文自然语言处理的常用库和示例代码。 --- ### 一、使用 `jieba` 实现中文分词和关键词提取 ```python import jieba import jieba.analyse # 示例文本 text = "自然语言处理是人工智能的一个重要领域，它帮助计算机理解和生成人类语言。" # 1. 分词 seg_list = jieba.cut(text, cut_all=False) print("精确分词：", "/".join(seg_list)) # 2. 关键词提取 keywords = jieba.analyse.extract_tags(text, topK=5) print("关键词提取：", keywords) ``` #### 输出示例： ``` 精确分词： 自然语言/处理/是/人工智能/的/一个/重要/领域/它/帮助/计算机/理解/和/生成/人类/语言 关键词提取： ['自然语言', '人工智能', '计算机', '生成', '领域'] ``` --- ### 二、使用 `LTP`（哈工大语言技术平台） LTP 是一个强大的中文 NLP 工具包，支持分词、词性标注、依存句法分析、命名实体识别等。 #### 安装： ```bash pip install pyltp ``` #### 示例代码： ```python from pyltp import SentenceSplitter, Segmentor, Postagger, Parser, NamedEntityRecognizer # 加载模型路径（请替换为你自己的模型路径） LTP_DATA_DIR = './ltp_data_v3.4' # ltp模型目录的路径 cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分词模型 pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model') # 词性标注模型 parser_model_path = os.path.join(LTP_DATA_DIR, 'parser.model') # 依存句法模型 # 分词 segmentor = Segmentor() segmentor.load(cws_model_path) words = segmentor.segment("自然语言处理技术可以帮助计算机理解人类语言") print("分词结果：", list(words)) # 词性标注 postagger = Postagger() postagger.load(pos_model_path) postags = postagger.postag(words) print("词性标注：", list(postags)) ``` --- ### 三、使用 `Transformers` + `HuggingFace` 实现中文语义理解 ```python from transformers import BertTokenizer, BertModel import torch # 加载中文 BERT 模型 tokenizer = BertTokenizer.from_pretrained("bert-base-chinese") model = BertModel.from_pretrained("bert-base-chinese") # 输入文本 text = "我喜欢自然语言处理技术" # 编码 inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) # 获取句向量 sentence_embedding = torch.mean(outputs.last_hidden_state, dim=1) print("句向量：", sentence_embedding) ``` --- ### 总结： | 功能 | 推荐库 | |------|--------| | 分词 | `jieba`, `LTP`, `THULAC` | | 词性标注 | `jieba`, `LTP` | | 命名实体识别 | `LTP`, `StanfordNLP`, `Transformers` | | 依存句法分析 | `LTP` | | 语义理解 | `Transformers`, `Sentence-BERT` | --- ###