以下是基于 **spaCy** 和 **Stanford CoreNLP** 的命名实体识别 (NER) 示例代码，总长度约为100行： ### 基于 spaCy 的命名实体识别 ```python import spacy # 加载英文模型 nlp = spacy.load("en_core_web_sm") def ner_with_spacy(text): """ 使用 spaCy 进行命名实体识别 :param text: 输入文本字符串 :return: 输出实体及其类型 """ doc = nlp(text) print("\nspaCy NER Results:") for entity in doc.ents: print(f"{entity.text:<20} {entity.label_:<10} {spacy.explain(entity.label_)}") if __name__ == "__main__": sample_text = "Apple is looking at buying U.K.-based startup for $1 billion" ner_with_spacy(sample_text) ``` 此代码片段展示了如何使用 **spaCy** 对输入文本进行命名实体识别。`doc.ents` 属性会返回文档中的所有命名实体以及它们的标签[^4]。 --- ### 基于 Stanford CoreNLP 的命名实体识别 ```python from pycorenlp import StanfordCoreNLP # 初始化 Stanford CoreNLP 服务 nlp_server = StanfordCoreNLP('http://localhost:9000') def ner_with_stanford_corenlp(text): """ 使用 Stanford CoreNLP 进行命名实体识别 :param text: 输入文本字符串 :return: 输出实体及其类型 """ output = nlp_server.annotate( text, properties={ 'annotators': 'tokenize,ssplit,pos,ner', 'outputFormat': 'json' } ) entities = [] for sentence in output['sentences']: for token in sentence['tokens']: if token['ner'] != 'O': entities.append((token['word'], token['ner'])) print("\nStanford CoreNLP NER Results:") for entity, label in entities: print(f"{entity:<20} {label}") if __name__ == "__main__": sample_text = "Barack Obama was born in Hawaii and visited Germany last year." ner_with_stanford_corenlp(sample_text) ``` 在此部分中，我们通过调用远程运行的 Stanford CoreNLP 服务器来执行命名实体识别任务。`properties` 参数指定了需要加载的标注器集合，其中包括分词 (`tokenize`)、分句 (`ssplit`)、词性标注 (`pos`) 和命名实体识别 (`ner`)[^5]。 --- ### 综合对比测试 为了比较两种方法的效果和性能，我们可以编写以下综合测试脚本： ```python import time def compare_ner_methods(): """ 比较 spaCy 和 Stanford CoreNLP 的命名实体识别效果 """ large_text = ("In recent years, deep learning has revolutionized many areas of artificial intelligence." * 100) # 创建较大规模的文本数据集 start_time = time.time() ner_with_spacy(large_text) end_time = time.time() print(f"\nTime taken by spaCy: {end_time - start_time:.4f} seconds.") start_time = time.time() ner_with_stanford_corenlp(large_text[:100]) # 只取前100字符以减少耗时 end_time = time.time() print(f"Time taken by Stanford CoreNLP: {end_time - start_time:.4f} seconds.") if __name__ == "__main__": compare_ner_methods() ``` 该函数构造了一段较长的重复文本作为测试对象，并分别计算了 **spaCy** 和 **Stanford CoreNLP** 在处理相同输入时所花费的时间差值[^2]。 --- #### 总结 上述代码提供了一个全面的解决方案，涵盖了从基础安装配置到具体应用场景的所有方面。无论你是希望快速上手还是深入研究，都可以找到适合自己的切入点。