1.环境搭建
import nltk
nltk.download("averaged_perceptron_tagger")
2、下载以下几个文件
stanford-parser-full-2015-12-09 stanford-ner-2015-12-09
stanford-segmenter-2015-12-09 stanford-postagger-full-2015-12-09
修改过的nltk nltk-develop stanford-chinese-corenlp-2018-02-27-models
前四个包是斯坦福提供的分析资源包，该工具的使用依赖于JAVA环境需要装JDK 1.8 在此不赘述，nltk_develop，需要运行其中的setup.py文件，忘了说了，我的环境是python 36，运行完成后在PYTHON36安装目录下的Lib文件夹里面的site-packages里面生成和nltk相关的3个文件夹，将 修改过的nltk下载下来之后覆盖即可，最后一个chinese-corenlp则是资源文件
3、 斯坦福词性标注器安装部署
3.2、 斯坦福分词操作
# -*- coding: utf-8 -*-
from nltk.tokenize.stanford_segmenter import StanfordSegmenter
data_dir = "D:\\NLTK\\stanford-segmenter-2015-12-09"
segmenter = StanfordSegmenter(
java_class='edu.stanford.nlp.ie.crf.CRFClassifier',
path_to_jar=data_dir + "\\stanford-segmenter-3.6.0.jar",
path_to_slf4j=data_dir+"\\slf4j-api.jar",
path_to_sihan_corpora_dict=data_dir+"\\data",
path_to_model=data_dir+"\\data\\pku.gz",
path_to_dict=data_dir+"\\data\\dict-chris6.ser.gz"
)
sentence = u"这是斯坦福中文分词器测试"
result = segmenter.segment(sentence)
print(result)总结一定要注意path_to_slf4j路径，否则会出现java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory，错误
3.3 StanfordNERTagger 英文命名实体识别
# -*- coding: utf-8 -*-
from nltk.tag import StanfordNERTagger
eng_tagger = StanfordNERTagger(
model_filename=r'D:\NLTK\stanford-ner-2015-12-09\classifiers\english.all.3class.distsim.crf.ser.gz',
path_to_jar=r'D:\NLTK\stanford-ner-2015-12-09\stanford-ner.jar',
)
print(eng_tagger.tag('Rami Eid is studying at Stony Brook University in NY'.split()))
修正方式：修改文件 C:\Python36\Lib\site-packages\nltk\tag\stanford.py文件的函数tag_sents在 stanpos_output, stderr 赋值处之前添加
_CLASS_PATH = "."
if os.environ.get('CLASSPATH') is not None:
_CLASS_PATH = os.environ.get('CLASSPATH')
stanpos_output, stderr = java(cmd, classpath=(self._stanford_jar, _CLASS_PATH), stdout=PIPE, stderr=PIPE)当前，这个方式的前提是在你电脑的环境变量上CLASSPATH添加slf4j-api.jar的绝对路径即可
3.4中文命名实体
#对于chinese.misc.distsim.crf.ser.gz与chinese.misc.distsim.prop文件，将stanford-chinese-corenlp-2016-10-31-models.jar解压可以找到。
# -*- coding: utf-8 -*-
from nltk.tag import StanfordNERTagger
result='四川省 成都 信息 工程 大学 我 在 博客 园 开 了 一个 博客 ， 我 的 博客 名叫 伏 草 惟 存 ， 写 了 一些 自然语言 处理 的 文章 。\r\n'
chi_tagger = StanfordNERTagger(model_filename=r'D:\NLTK\stanford-chinese-corenlp-2018-02-27-models\edu\stanford\nlp\models\ner\chinese.misc.distsim.crf.ser.gz',
path_to_jar=r'D:\NLTK\stanford-ner-2015-12-09\stanford-ner.jar')
for word, tag in chi_tagger.tag(result.split()):
print(word,tag)StanfordPOSTagger 中文词性标注
# -*- coding: utf-8 -*-
from nltk.tag import StanfordPOSTagger
chi_tagger = StanfordPOSTagger(model_filename=r'D:\NLTK\stanford-postagger-full-2015-12-09\models\chinese-distsim.tagger',
path_to_jar=r'D:\NLTK\stanford-postagger-full-2015-12-09\stanford-postagger.jar')
result= '四川省 成都 信息 工程 大学 我 在 博客 园 开 了 一个 博客 ， 我 的 博客 名叫 伏 草 惟 存 ， 写 了 一些 自然语言 处理 的 文章 。\r\n'
print(chi_tagger.tag(result.split()))
3.6中文语法分析
# -*- coding: utf-8 -*-
from nltk.parse.stanford import StanfordParser
chi_parser = StanfordParser(r"D:\NLTK\stanford-parser-full-2015-12-09\stanford-parser.jar",
r"D:\NLTK\stanford-parser-full-2015-12-09\stanford-parser-3.6.0-models.jar",
r"D:\NLTK\stanford-chinese-corenlp-2018-02-27-models\edu\stanford\nlp\models\lexparser\chinesePCFG.ser.gz")
sent = u'北海 已 成为 中国 对外开放 中 升起 的 一 颗 明星'
print(list(chi_parser.parse(sent.split())))
3.7 中文依存句法分析
# -*- coding: utf-8 -*-
from nltk.parse.stanford import StanfordDependencyParser
chi_parser = StanfordDependencyParser(r"D:\NLTK\stanford-parser-full-2015-12-09\stanford-parser.jar",
r"D:\NLTK\stanford-parser-full-2015-12-09\stanford-parser-3.6.0-models.jar",
r"D:\NLTK\stanford-chinese-corenlp-2018-02-27-models\edu\stanford\nlp\models\lexparser\chinesePCFG.ser.gz")
res = list(chi_parser.parse(u'四川 已 成为 中国 西部 对外开放 中 升起 的 一 颗 明星'.split()))
for row in res[0].triples():
print(row)说明所有资料整理自