自然语言处理-结巴分词实践

安装包

方法1

首先安装jieba包,我用了虚拟环境首先激活到我自己的TensorFlow(为自己取名的包)环境中,然后pip install jiba 安装

activate TensorFlow

方法2

当然也可以直接在anaconda中进行安装
在这里插入图片描述

代码

导入包

import jieba
text='我是练习时长两年半的个人练习生蔡徐坤,我喜欢唱跳rap和篮球'
text

在这里插入图片描述
数出分好的word_list但是返回的是内存地址

word_list=jieba.cut(text)
print(word_list)

在这里插入图片描述

print(list(word_list))# 缺省是精确模式

在这里插入图片描述
全模式是把中间的语义都写了进去,比如练习生,他包括练习和练习生,精确模式是判断的最有可能的语义

word_list=jieba.cut(text,cut_all=False)
print("精确模式分词结果为:"+"/".join(word_list))# 全模式

在这里插入图片描述

word_list=jieba.cut_for_search(text)
print("搜索引擎分词结果为:"+"/".join(word_list))# 搜索引擎模式

在这里插入图片描述
也可以结果直接返回列表

# 把结果直接返回列表
word_list=jieba.lcut(text)
print(word_list)

在这里插入图片描述
搜索引擎模式也有这个功能

# 把结果直接返回列表
word_list=jieba.lcut_for_search(text)
print(word_list)

在这里插入图片描述
如果有些单词本身也是一体的,我不想分开比如蔡徐坤和练习生

#如何把练习生和蔡徐坤也作为一体 ,在当前目录
jieba.load_userdict('mydict.txt')

在本地建一个mydict.txt,内部如下

在这里插入图片描述

word_list=jieba.lcut(text)
print(word_list)

在这里插入图片描述

发布了314 篇原创文章 · 获赞 23 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/weixin_39289876/article/details/105026600
今日推荐