思想：
把每个词看成是各个字组成，如果相连的字在不同的文本中出现次数越多，相连的字很可能是一个词
利用字与字相邻出现的频率反映词的可靠度
buzhou：
建立统计语言模型
对句子进行单词划分，然后对划分结果进行概率计算，获得最大概率的分词方式
语言模型：
长度为m的字符串确定其概率分布为P(w1,w2,.......wm)其中，w1,w2,wm依次表示文本中的各个词语
统计分词
猜你喜欢
转载自www.cnblogs.com/hapyygril/p/9924188.html
今日推荐
周排行