[python]分词工具jieba

基于前缀词典进行词图扫描，构成全部可能分词结果的有向无环图，动态规划查找最大概率路径

支持三种分词模式

精确模式：试图将句子最精确地切开，适合文本分析
全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但不能解决歧义
-搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词

支持繁体分词

支持自定义字典

MIT授权协议

MIT 协议可能是几大开源协议中最宽松的一个，核心条款是：
该软件及其相关文档对所有人免费，可以任意处置，包括使用，复制，修改，合并，发表，分发，再授权，或者销售。唯一的限制是，软件中必须包含上述版权和许可提示。

jieba.cut
cut方法参数描述：
- string : 需要分词的字符串
- cut_all: 是否采用全模式，默认为精确模式
- HMM：是否使用HMM模型
jieba.cut_for_search
该方法适用于搜索引擎构建倒排索引分词，粒度较细。
- string : 需要分词的字符串
- HMM: 是否使用HMM模型

jieba.lcut以及jieba.lcut_for_search 直接返回list
jieba.Tokenizer(dictionary=DEFAULT_DICT)

新建自定义分词器，可用于同时使用不同词典。jieba.dt为默认分词器，所以全局分词相关函数都是该分词器的映射。
jieba.load_userdict(file_name)
指定自定义词典，以便包含jieba词库里没有的词。自行添加新词可以保证更高的正确率。
- 词典格式：[词语，词频(可省略)，词性(可省略)]，用空格隔开，顺序不可颠倒，文件编码必须为UTF-8
- 词频自动省略时使用自动计算的能保证分出该词的词频
jieba.analyse.set_stop_words(file_name)

指定停用词文件

扫描二维码关注公众号，回复： 5194540 查看本文章

jieba.analyse.extrac_tags(sentence.topK=20,withWeight=False,allowPOS=())
参数详解
- sentence:提取文本
- topK: 返回TF/IDF权重最大的关键词个数，默认值为20
- withWeight: 是否一并返回关键词权重值，默认值为False
- allowPOS: 仅包括指定词性的词,默认为空，既不筛选。

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
直接使用，接口相同，注意默认过滤词性。
基本思想:
- 将待抽取关键词的文本进行分词
- 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图
- 计算图中节点的PageRank，注意是无向带权图

新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。

jieba.posseg.dt 为默认词性标注分词器。

标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。