【NLP】11大Java开源中文分词器的使用方法和分词效果对比

本文的目标有两个：

1、学会使用11大Java开源中文分词器

2、对比分析11大Java开源中文分词器的分词效果

本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：

Java代码 

 

1. /** 
2.  * 获取文本的所有分词结果, 对比不同分词器结果 
3.  * @author 杨尚川 
4.  */  
5. public interface WordSegmenter {  
6.     /** 
7.      * 获取文本的所有分词结果 
8.      * @param text 文本 
9.      * @return 所有的分词结果，去除重复 
10.      */  
11.     default public Set<String> seg(String text) {  
12.         return segMore(text).values().stream().collect(Collectors.toSet());  
13.     }  
14.     /** 
15.      * 获取文本的所有分词结果 
16.      * @param text 文本 
17.      * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果 
18.      */  
19.     public Map<String, String> segMore(String text);  
20. }  

从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。

这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。

在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。

下面我们利用这11大分词器来实现这个接口：

1、word分词器

Java代码 

 

1. @Override  
2. public Map<String, String> segMore(String text) {  
3.     Map<String, String> map = new HashMap<>();  
4.     for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){  
5.         map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));  
6.     }  
7.     return map;  
8. }  
9. private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {  
10.     StringBuilder result = new StringBuilder();  
11.     for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){  
12.         result.append(word.getText()).append(" ");  
13.     }  
14.     return result.toString();  
15. }  

2、Ansj分词器

Java代码 

 

1. @Override  
2. public Map<String, String> segMore(String text) {  
3.     Map<String, String> map = new HashMap<>();  
4.   
5.     StringBuilder result = new StringBuilder();  
6.     for(Term term : BaseAnalysis.parse(text)){  
7.         result.append(term.getName()).append(" ");  
8.     }  
9.     map.put("BaseAnalysis", result.toString());  
10.   
11.     result.setLength(0);  
12.     for(Term term : ToAnalysis.parse(text)){  
13.         result.append(term.getName()).append(" ");  
14.     }  
15.     map.put("ToAnalysis", result.toString());  
16.   
17.     result.setLength(0);  
18.     for(Term term : NlpAnalysis.parse(text)){  
19.         result.append(term.getName()).append(" ");  
20.     }  
21.     map.put("NlpAnalysis", result.toString());  
22.   
23.     result.setLength(0);  
24.     for(Term term : IndexAnalysis.parse(text)){  
25.         result.append(term.getName()).append(" ");  
26.     }  
27.     map.put("IndexAnalysis", result.toString());  
28.   
29.     return map;  
30. }  

3、Stanford分词器

Java代码 

 

1. private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");  
2. private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");  
3. private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);  
4. ​public Map<String, String> segMore(String text) {  
5.     Map<String, String> map = new HashMap<>();  
6.     map.put("Stanford Beijing University segmentation", seg(PKU, text));  
7.     map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));  
8.     return map;  
9. }  
10. private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){  
11.     PrintStream err = System.err;  
12.     System.setErr(NULL_PRINT_STREAM);  
13.     Annotation document = new Annotation(text);  
14.     stanfordCoreNLP.annotate(document);  
15.     List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);  
16.     StringBuilder result = new StringBuilder();  
17.     for(CoreMap sentence: sentences) {  
18.         for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {  
19.             String word = token.get(CoreAnnotations.TextAnnotation.class);;  
20.             result.append(word).append(" ");  
21.         }  
22.     }  
23.     System.setErr(err);  
24.     return result.toString();  
25. }  

4、FudanNLP分词器

Java代码 

 

1. private static CWSTagger tagger = null;  
2. static{  
3.     try{  
4.         tagger = new CWSTagger("lib/fudannlp_seg.m");  
5.         tagger.setEnFilter(true);  
6.     }catch(Exception e){  
7.         e.printStackTrace();  
8.     }  
9. }  
10. @Override  
11. public Map<String, String> segMore(String text) {  
12.     Map<String, String> map = new HashMap<>();  
13.     map.put("FudanNLP", tagger.tag(text));  
14.     return map;  
15. }  

5、Jieba分词器

Java代码 

 

1. private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();  
2. @Override  
3. public Map<String, String> segMore(String text) {  
4.     Map<String, String> map = new HashMap<>();  
5.     map.put("INDEX", seg(text, SegMode.INDEX));  
6.     map.put("SEARCH", seg(text, SegMode.SEARCH));  
7.     return map;  
8. }  
9. private static String seg(String text, SegMode segMode) {  
10.     StringBuilder result = new StringBuilder();                  
11.     for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){  
12.         result.append(token.word.getToken()).append(" ");  
13.     }  
14.     return result.toString();   
15. }  

6、Jcseg分词器

Java代码 

 

1. private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();  
2. private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);  
3. static {  
4.     CONFIG.setLoadCJKSyn(false);  
5.     CONFIG.setLoadCJKPinyin(false);  
6. }  
7. @Override  
8. public Map<String, String> segMore(String text) {  
9.     Map<String, String> map = new HashMap<>();  
10.   
11.     map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));  
12.     map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));  
13.   
14.     return map;  
15. }  
16. private String segText(String text, int segMode) {  
17.     StringBuilder result = new StringBuilder();          
18.     try {  
19.         ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});  
20.         IWord word = null;  
21.         while((word=seg.next())!=null) {           
22.             result.append(word.getValue()).append(" ");  
23.         }  
24.     } catch (Exception ex) {  
25.         throw new RuntimeException(ex);  
26.     }  
27.     return result.toString();  
28. }  

7、MMSeg4j分词器

Java代码 

 

1. private static final Dictionary DIC = Dictionary.getInstance();  
2. private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);  
3. private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);  
4. private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);  
5. @Override  
6. public Map<String, String> segMore(String text) {  
7.     Map<String, String> map = new HashMap<>();  
8.     map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));  
9.     map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));  
10.     map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));  
11.     return map;  
12. }  
13. private String segText(String text, Seg seg) {  
14.     StringBuilder result = new StringBuilder();  
15.     MMSeg mmSeg = new MMSeg(new StringReader(text), seg);          
16.     try {  
17.         Word word = null;  
18.         while((word=mmSeg.next())!=null) {         
19.             result.append(word.getString()).append(" ");  
20.         }  
21.     } catch (IOException ex) {  
22.         throw new RuntimeException(ex);  
23.     }  
24.     return result.toString();  
25. }  

8、IKAnalyzer分词器

Java代码 

 

1. @Override  
2. public Map<String, String> segMore(String text) {  
3.     Map<String, String> map = new HashMap<>();  
4.   
5.     map.put("智能切分", segText(text, true));  
6.     map.put("细粒度切分", segText(text, false));  
7.   
8.     return map;  
9. }  
10. private String segText(String text, boolean useSmart) {  
11.     StringBuilder result = new StringBuilder();  
12.     IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);          
13.     try {  
14.         Lexeme word = null;  
15.         while((word=ik.next())!=null) {            
16.             result.append(word.getLexemeText()).append(" ");  
17.         }  
18.     } catch (IOException ex) {  
19.         throw new RuntimeException(ex);  
20.     }  
21.     return result.toString();  
22. }  

9、Paoding分词器

Java代码 

 

1. private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();  
2. @Override  
3. public Map<String, String> segMore(String text) {  
4.     Map<String, String> map = new HashMap<>();  
5.   
6.     map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));  
7.     map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));  
8.       
9.     return map;  
10. }  
11. private static String seg(String text, int mode){  
12.     ANALYZER.setMode(mode);  
13.     StringBuilder result = new StringBuilder();  
14.     try {  
15.         Token reusableToken = new Token();  
16.         TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));  
17.         Token token = null;  
18.         while((token = stream.next(reusableToken)) != null){  
19.             result.append(token.term()).append(" ");  
20.         }  
21.     } catch (Exception ex) {  
22.         throw new RuntimeException(ex);  
23.     }  
24.     return result.toString();            
25. }  

10、smartcn分词器

Java代码 

 

1. ​private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();  
2. ​@Override  
3. public Map<String, String> segMore(String text) {  
4.     Map<String, String> map = new HashMap<>();  
5.     map.put("smartcn", segText(text));  
6.     return map;  
7. }  
8. private static String segText(String text) {  
9.     StringBuilder result = new StringBuilder();  
10.     try {  
11.         TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));  
12.         tokenStream.reset();  
13.         while (tokenStream.incrementToken()){  
14.             CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);  
15.             result.append(charTermAttribute.toString()).append(" ");  
16.         }  
17.         tokenStream.close();  
18.     }catch (Exception e){  
19.         e.printStackTrace();  
20.     }  
21.     return result.toString();  
22. }  

 11、HanLP分词器

Java代码 

 

1. private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);  
2. private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);  
3. @Override  
4. public Map<String, String> segMore(String text) {  
5.     Map<String, String> map = new HashMap<>();  
6.     map.put("标准分词", standard(text));  
7.     map.put("NLP分词", nlp(text));  
8.     map.put("索引分词", index(text));  
9.     map.put("N-最短路径分词", nShort(text));  
10.     map.put("最短路径分词", shortest(text));  
11.     map.put("极速词典分词", speed(text));  
12.     return map;  
13. }  
14. private static String standard(String text) {  
15.     StringBuilder result = new StringBuilder();  
16.     StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
17.     return result.toString();  
18. }  
19. private static String nlp(String text) {  
20.     StringBuilder result = new StringBuilder();  
21.     NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
22.     return result.toString();  
23. }  
24. private static String index(String text) {  
25.     StringBuilder result = new StringBuilder();  
26.     IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
27.     return result.toString();  
28. }  
29. private static String speed(String text) {  
30.     StringBuilder result = new StringBuilder();  
31.     SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
32.     return result.toString();  
33. }  
34. private static String nShort(String text) {  
35.     StringBuilder result = new StringBuilder();  
36.     N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));  
37.     return result.toString();  
38. }  
39. private static String shortest(String text) {  
40.     StringBuilder result = new StringBuilder();  
41.     DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));  
42.     return result.toString();  
43. }  

现在我们已经实现了本文的第一个目的：学会使用11大Java开源中文分词器。

最后我们来实现本文的第二个目的：对比分析11大Java开源中文分词器的分词效果，程序如下：

Java代码 

 

1. public static Map<String, Set<String>> contrast(String text){  
2.     Map<String, Set<String>> map = new LinkedHashMap<>();  
3.     map.put("word分词器", new WordEvaluation().seg(text));  
4.     map.put("Stanford分词器", new StanfordEvaluation().seg(text));  
5.     map.put("Ansj分词器", new AnsjEvaluation().seg(text));  
6.     map.put("HanLP分词器", new HanLPEvaluation().seg(text));  
7.     map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));  
8.     map.put("Jieba分词器", new JiebaEvaluation().seg(text));  
9.     map.put("Jcseg分词器", new JcsegEvaluation().seg(text));  
10.     map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));  
11.     map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));  
12.     map.put("smartcn分词器", new SmartCNEvaluation().seg(text));  
13.     return map;  
14. }  
15. public static Map<String, Map<String, String>> contrastMore(String text){  
16.     Map<String, Map<String, String>> map = new LinkedHashMap<>();  
17.     map.put("word分词器", new WordEvaluation().segMore(text));  
18.     map.put("Stanford分词器", new StanfordEvaluation().segMore(text));  
19.     map.put("Ansj分词器", new AnsjEvaluation().segMore(text));  
20.     map.put("HanLP分词器", new HanLPEvaluation().segMore(text));  
21.     map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));  
22.     map.put("Jieba分词器", new JiebaEvaluation().segMore(text));  
23.     map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));  
24.     map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));  
25.     map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));  
26.     map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));  
27.     return map;  
28. }  
29. public static void show(Map<String, Set<String>> map){  
30.     map.keySet().forEach(k -> {  
31.         System.out.println(k + " 的分词结果：");  
32.         AtomicInteger i = new AtomicInteger();  
33.         map.get(k).forEach(v -> {  
34.             System.out.println("\t" + i.incrementAndGet() + " 、" + v);  
35.         });  
36.     });  
37. }  
38. public static void showMore(Map<String, Map<String, String>> map){  
39.     map.keySet().forEach(k->{  
40.         System.out.println(k + " 的分词结果：");  
41.         AtomicInteger i = new AtomicInteger();  
42.         map.get(k).keySet().forEach(a -> {  
43.             System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));  
44.         });  
45.     });  
46. }  
47. public static void main(String[] args) {  
48.     show(contrast("我爱楚离陌"));  
49.     showMore(contrastMore("我爱楚离陌"));  
50. }  

运行结果如下：

Java代码 

 

1. ********************************************  
2. word分词器 的分词结果：  
3.     1 、我 爱 楚离陌   
4. Stanford分词器 的分词结果：  
5.     1 、我 爱 楚 离陌   
6.     2 、我 爱 楚离陌   
7. Ansj分词器 的分词结果：  
8.     1 、我 爱 楚离 陌   
9.     2 、我 爱 楚 离 陌   
10. HanLP分词器 的分词结果：  
11.     1 、我 爱 楚 离 陌   
12. smartcn分词器 的分词结果：  
13.     1 、我 爱 楚 离 陌   
14. FudanNLP分词器 的分词结果：  
15.     1 、我 爱楚离陌  
16. Jieba分词器 的分词结果：  
17.     1 、我爱楚 离 陌   
18. Jcseg分词器 的分词结果：  
19.     1 、我 爱 楚 离 陌   
20. MMSeg4j分词器 的分词结果：  
21.     1 、我爱 楚 离 陌   
22. IKAnalyzer分词器 的分词结果：  
23.     1 、我 爱 楚 离 陌   
24. ********************************************  

Java代码 

 

1. ********************************************  
2. word分词器 的分词结果：  
3.     1 、【全切分算法】  我 爱 楚离陌   
4.     2 、【双向最大最小匹配算法】 我 爱 楚离陌   
5.     3 、【正向最大匹配算法】   我 爱 楚离陌   
6.     4 、【双向最大匹配算法】   我 爱 楚离陌   
7.     5 、【逆向最大匹配算法】   我 爱 楚离陌   
8.     6 、【正向最小匹配算法】   我 爱 楚离陌   
9.     7 、【双向最小匹配算法】   我 爱 楚离陌   
10.     8 、【逆向最小匹配算法】   我 爱 楚离陌   
11. Stanford分词器 的分词结果：  
12.     1 、【Stanford Chinese Treebank segmentation】 我 爱 楚离陌   
13.     2 、【Stanford Beijing University segmentation】   我 爱 楚 离陌   
14. Ansj分词器 的分词结果：  
15.     1 、【BaseAnalysis】   我 爱 楚 离 陌   
16.     2 、【IndexAnalysis】  我 爱 楚 离 陌   
17.     3 、【ToAnalysis】 我 爱 楚 离 陌   
18.     4 、【NlpAnalysis】    我 爱 楚离 陌   
19. HanLP分词器 的分词结果：  
20.     1 、【NLP分词】  我 爱 楚 离 陌   
21.     2 、【标准分词】   我 爱 楚 离 陌   
22.     3 、【N-最短路径分词】   我 爱 楚 离 陌   
23.     4 、【索引分词】   我 爱 楚 离 陌   
24.     5 、【最短路径分词】 我 爱 楚 离 陌   
25.     6 、【极速词典分词】 我 爱 楚 离 陌   
26. smartcn分词器 的分词结果：  
27.     1 、【smartcn】    我 爱 楚 离 陌   
28. FudanNLP分词器 的分词结果：  
29.     1 、【FudanNLP】   我 爱楚离陌  
30. Jieba分词器 的分词结果：  
31.     1 、【SEARCH】 我爱楚 离 陌   
32.     2 、【INDEX】  我爱楚 离 陌   
33. Jcseg分词器 的分词结果：  
34.     1 、【简易模式】   我 爱 楚 离 陌   
35.     2 、【复杂模式】   我 爱 楚 离 陌   
36. MMSeg4j分词器 的分词结果：  
37.     1 、【SimpleSeg】  我爱 楚 离 陌   
38.     2 、【ComplexSeg】 我爱 楚 离 陌   
39.     3 、【MaxWordSeg】 我爱 楚 离 陌   
40. IKAnalyzer分词器 的分词结果：  
41.     1 、【智能切分】   我 爱 楚 离 陌   
42.     2 、【细粒度切分】  我 爱 楚 离 陌   
43. ********************************************  

 完整代码看这里​