特点:
- 支持三种分词模式
–精确模式,试图将句子最精确地切开,适合文本分析;
–全模式,把句子中所有的可以成词的词语都扫描出来,速度非常快,但不能解决歧义;
–搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
-支持繁体分词
-支持自定义词典
使用:
-安装或者将jieba目录放在当前目录或者site-packages目录
算法:
-基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)
-采用动态规划查找最大概率路径,找出基于词频的最大切分组合
-对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法
添加自定义词典:
-开发者可以指定自己自定义的词典,以便包含jieba词库里没有的词。虽然jieba有新词识别能力,但是自行添加新词可以保证更高的正确率
-用法:jieba.load_userdict(file_name)#file_name为文件类对象 或自定义词典的路径
-词典格式:一个词一行:词语,词频(可省略),词性(可省略),用空格隔开,顺序不可颠倒。UTF-8编码。
关键词提取:
-基于TF-IDF算法的关键词抽取
import jieba.analyse
-
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
–sentence 为待提取的文本
–topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
–withWeight 为是否一并返回关键词权重值,默认值为 False
–allowPOS 仅包括指定词性的词,默认值为空,即不筛选 -
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例,idf_path 为 IDF 频率文件
关键词提取所使用逆向文件频率(IDF)文本语料库可以切换成自定义语料库的路径
- 用法:jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
关键词提取所使用停止词(Stop Words)文本语料库可以切换成自定义语料库的路径
- 用法: jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
-基于TextRank算法的关键词提取
- jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用,接口相同,注意默认过滤词性。
- jieba.analyse.TextRank() 新建自定义 TextRank 实例
–基本思想:
1,将待抽取关键词的文本进行分词
2,以固定窗口大小(默认为5,通过span属性调整),词之间的共现关系,构建图
3,计算图中节点的PageRank,注意是无向带权图 -
操作实例:
-
import jieba import jieba.posseg import jieba.analyse #分析血尸的词频 data=open("E:/数据挖掘/源码/源码/第7周/血尸.txt").read() #print(data) tag=jieba.analyse.extract_tags(data,15) print(tag) #分析盗墓笔记中的关键字提取 #该方法编码问题没有解决 data2=open('E:/数据挖掘/源码/源码/第7周/dmbj.html','rb').read().decode('utf-8','ignore') #print(data) tag=jieba.analyse.extract_tags(data2,20) print(tag)
- 运行的结果:
- ['老三', '二哥', '东西', '伢子', '烟头', '耗子', '血尸', '洞里', '下面', '独眼', '一声', '听到', '知道', '下去', '时候']
*******盗墓笔记中的关键字的提取***********
['三叔', '我们', '胖子', '油瓶', '潘子', '什么', '东西', '知道', '这里', '但是', '没有', '一个', '看到', '老痒', '事情', '时候', '一下', '感觉', '阿宁', '已经']