（一）jieba分词

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hao5335156/article/details/82709236

jieba分词

1、全模式

按照前后的顺序分词，句子有交叉

import jieba
seg_list = jieba.cut("我喜欢自然语言处理", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

Building prefix dict from the default dictionary ...
Dumping model to file cache /tmp/jieba.cache
Loading model cost 0.829 seconds.
Prefix dict has been built succesfully.


Full Mode: 我/ 喜欢/ 自然/ 自然语言/ 语言/ 处理

2、精确模式

按照前后的顺序分词，句子无交叉

import jieba
seg_list = jieba.cut("我喜欢自然语言处理", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 全模式

Default Mode: 我/ 喜欢/ 自然语言/ 处理

关键词提取

基于 TF-IDF 算法的关键词抽取

import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选

import jieba.analyse as analyse
lines = open('NBA.txt').read()
print("  ".join(analyse.extract_tags(lines, topK=20, withWeight=False, allowPOS=())))

韦少  杜兰特  全明星  全明星赛  MVP  威少  正赛  科尔  投篮  勇士  球员  斯布鲁克  更衣柜  NBA  三连庄  张卫平  西部  指导  雷霆  明星队

词性标注

import jieba.posseg as pseg
words = pseg.cut("我喜欢自然语言处理")
for word, flag in words:
    print('%s %s' % (word, flag))

我 r
喜欢 v
自然语言 l
处理 v