版权声明：转载请注明出处，谢谢~~ https://blog.csdn.net/m0_37306360/article/details/85871114
更多实时更新的个人学习笔记分享，请关注：
知乎：https://www.zhihu.com/people/yuquanle/columns
微信订阅号：人工智能小白入门学习
ID: StudyForAI
SnowNLP简介
-
SnowNLP是一个可以方便的处理中文文本内容的python类库，是受到了TextBlob的启发而写的，和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。
-
Github地址：https://github.com/isnowfy/snownlp
-
SnowNLP主要功能包括分词、词性标注、情感分析、汉字转拼音、繁体转简体、关键词提取以及文本摘要等等。
SnowNLP
一个可以方便的处理中文文本内容的python写的类库，受到了TextBlob的启发而写的
安装：pip install snownlp
from snownlp import SnowNLP
sentence = '我爱自然语言处理技术！'
s = SnowNLP(sentence)
1.分词
s_token = s.words
print(s_token)
['我', '爱', '自然', '语言', '处理', '技术', '！']
2.词性标注
s_tags = s.tags
for token_tag in s_tags:
print(token_tag)
('我', 'r')
('爱', 'v')
('自然', 'n')
('语言', 'n')
('处理', 'vn')
('技术', 'n')
('！', 'w')
3.情感分析(positive的概率)
s_senti = s.sentiments
print(s_senti)
0.902242143497134
4.中文拼音
s_pinyin = s.pinyin
for i in range(len(sentence)):
print(sentence[i], s_pinyin[i])
我 wo
爱 ai
自 Zi
然 ran
语 yu
言 yan
处 chu
理 li
技 ji
术 shu
！ ！
5.繁体字转简体
sentence_fan = "我愛自然語言處理技術！"
s_jianti = SnowNLP(sentence_fan)
print(s_jianti.han)
我爱自然语言处理技术！
6.分割成句子（Tokenization）
text = u'''
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，
所以它与语言学的研究有着密切的联系，但又有重要的区别。
自然语言处理并不是一般地研究自然语言，
而在于研制能有效地实现自然语言通信的计算机系统，
特别是其中的软件系统。因而它是计算机科学的一部分。
'''
t = SnowNLP(text)
for sen in t.sentences:
print(sen + "。")
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
因此。
这一领域的研究将涉及自然语言。
即人们日常使用的语言。
所以它与语言学的研究有着密切的联系。
但又有重要的区别。
自然语言处理并不是一般地研究自然语言。
而在于研制能有效地实现自然语言通信的计算机系统。
特别是其中的软件系统。
因而它是计算机科学的一部分。
7.关键词抽取
key_num = 3
t_key = t.keywords(key_num)
print(t_key)
['语言', '自然', '计算机']
8.摘要抽取（关键句抽取）
key_sen = 3
t_keysen = t.summary(key_sen)
print(t_keysen)
['因而它是计算机科学的一部分', '自然语言处理是计算机科学领域与人工智能领域中的一个重要方向', '自然语言处理是一门融语言学、计算机科学、数学于一体的科学']
9.计算tf和idf
s = SnowNLP([[u'这篇', u'文章'],
[u'那篇', u'论文'],
[u'这个']])
print(s.tf)
print(s.idf)
[{'文章': 1, '这篇': 1}, {'论文': 1, '那篇': 1}, {'这个': 1}]
{'文章': 0.5108256237659907, '论文': 0.5108256237659907, '这篇': 0.5108256237659907, '这个': 0.5108256237659907, '那篇': 0.5108256237659907}
10.计算相似度(BM25)
artilc1 = ['文章']
print(s.sim(artilc1))
[0.4686473612532025, 0, 0]
支持训练
- 提供训练的包括分词，词性标注，情感分析。语料在snownlp/seg目录下
- 训练好的文件就存储为seg.marshal了，然后修改snownlp/seg/init.py里的data_path指向刚训练好的文件即可
from snownlp import seg
#seg.train('data.txt')
#seg.save('seg.marshal')
# from snownlp import tag
# tag.train('199801.txt')
# tag.save('tag.marshal')
# from snownlp import sentiment
# sentiment.train('neg.txt', 'pos.txt')
# sentiment.save('sentiment.marshal')