结巴分词的使用

结巴分词介绍

现在开源的中文分词工具，有IK、MMseg4j、THULAC、Ansj、Jieba、HanLP等，其中最近还在更新并维护的，也是目前分词效果比较优秀的要属于Ansj、Jieba、HanLP了。 

之前我写过Ansj分词器的介绍说明博客，现在细谈一下Jieba分词的详细思路及其实现过程。

代码地址：https://download.csdn.net/download/qq_26408545/10479349

JieBatest2类，是该方法

里面的util为文件预读类，test。txt为测试文档，正常去处空格和括号特使字符最好。

结巴分词主页

结巴分词的github主页地址是：https://github.com/fxsjy/jieba（python版），原作者fxsjy是用python写的，后来有网友写了其他编程语言的版本。

目前官方页面推荐的java版结巴分词地址是：https://github.com/huaban/jieba-analysis（java版），这个java版的结巴分词只有针对搜索引擎分词的功能，我在这个之上做了优化改进，并添加了词性标志功能后，已经pull request 给作者piaolingxue了。

我改进后的结巴分词的java版地址是：https://github.com/shibing624/xmnlp ，该项目还在完善中，欢迎大家fork。

结巴分词简介

特点

• 支持三种分词模式： 
  
  1. 精确模式，试图将句子最精确地切开，适合文本分析；
  2. 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；
  3. 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
• 支持繁体分词
• 支持自定义词典

 public static void  main(String[] args) throws Exception {

        String text = ReadTxt.txtToString(new File("D:/test.txt"));
        String txt = null ;
        JiebaSegmenter segmenter = new JiebaSegmenter();
        //将结果转成分词进行统计
        List<String> list = new ArrayList<String>();
        list =segmenter.sentenceProcess(text);
        
        //统计固定分词出现的频率
        System.out.println("\n - 计算'人民'出现的次数");
        System.out.println("人民 " + Collections.frequency(list, "人民"));
        
        //统计所有分析出现的频率（会有重复项）
        Set<String> uniqueSet = new HashSet(list);
        for (String temp : uniqueSet) {
            System.out.println(temp + ": " + Collections.frequency(list, temp));
        }
        //用map计算分词出现的频率
        System.out.println("\n例子3 -用Map来计算对象出现的次数");
        Map<String, Integer> map = new TreeMap<String, Integer>();
        for (String temp : list) {
            Integer count = map.get(temp);
            map.put(temp,  ((count == null) ? 1 : count + 1));
        }
        
        //将map统计的分词频率排序-转成list。
        List<Map.Entry<String,Integer>> list2 = new ArrayList<Map.Entry<String,Integer>>(map.entrySet());
        Collections.sort(list2,new Comparator<Map.Entry<String,Integer>>() {
            public int compare(Entry<String, Integer> o1,
                    Entry<String, Integer> o2) {
                return o2.getValue().compareTo(o1.getValue());
            }
        });
        //将排序结果输出
        for(Map.Entry<String,Integer> mapping:list2){ 
               System.out.println(mapping.getKey()+":"+mapping.getValue()); 
               txt = txt +mapping.getKey()+":"+mapping.getValue()+"   ";
        }
        //输出接过到txt中
        if(txt != null)
        ReadTxt.StringToTxt(txt);
    }