jieba库的使用

jieba库的使用

jeiba库是一款很优秀的用于中文分词的第三方库,它通过一个汉词词典来确定汉字之间的关联概率,将概率较大的组成分词。

精准模式

把文本精准的分割开来,不存在冗余单词。

  • jieba.lcut(s)

  传入一个字符串s,用于返回一个列表类型的分词结果

全模式

将文本中所有可能的词语全部扫描出来,存在冗余。

  • jieba.lcut(s,cut_all=True)

  以全模式返回一个列表类型的分词结果。

搜索引擎模式

在精准模式的基础上,对于一些较为长的单词进行分割,但是分割结果也存在冗余。

  • jieba.lcut_for_search(s)

  传入一个字符串s,以搜索引擎模式返回一个列表类型的分词结果。

词典更新

用户可以根据自身需要,向匹配词典中添加一些单词

  • jieba.add_word(w)

  向分词词典中添加一个新词

猜你喜欢

转载自www.cnblogs.com/zhaifeng/p/9230388.html