jieba之segment

代码：

import jieba

sentence = "我来到清华大学"


# 从分词粒度上来讲，全模式 > 搜索模式 > 精确模式

# 精确模式
seg_list = jieba.cut(sentence)
#jieba的分词结果是产生一个生成器
print("===" * 20)
print(seg_list)
#如何打印生成器，用分隔符去拼接
print("===" * 20)
print("/".join(seg_list))


# 全模式,把里面所有可能的词都给找出来
seg_list = jieba.cut(sentence, cut_all=True)
print("===" * 20)
print("/".join(seg_list))


# 搜索引擎模式
seg_list = jieba.cut_for_search(sentence)
print("===" * 20)
print("/".join(seg_list))

运行结果：

============================================================
<generator object Tokenizer.cut at 0x1130b3f68>
============================================================
我/来到/清华大学
============================================================
我/来到/清华/清华大学/华大/大学
============================================================
我/来到/清华/华大/大学/清华大学

代码：

# 返回一个列表
# 精确模式
seg_list = jieba.lcut(sentence)
print("===" * 20)
print(seg_list)


# 全模式,把里面所有可能的词都给找出来
seg_list = jieba.lcut(sentence, cut_all=True)
print("===" * 20)
print(seg_list)


# 搜索引擎模式
seg_list = jieba.lcut_for_search(sentence)
print("===" * 20)
print(seg_list)

运行结果：

============================================================
['我', '来到', '清华大学']
============================================================
['我', '来到', '清华', '清华大学', '华大', '大学']
============================================================
['我', '来到', '清华', '华大', '大学', '清华大学']