ik

ik

maven依赖　

<!-- IK分词 -->
<dependency>
   <groupId>org.apache.lucene</groupId>
   <artifactId>lucene-core</artifactId>
   <version>7.3.0</version> </dependency>
<dependency>
   <groupId>com.janeluo</groupId>
   <artifactId>ikanalyzer</artifactId>
   <version>2012_u6</version>
   <!--排除掉里面旧的lucene包，因为我们要重写里面的分析器和分词器 -->
   <exclusions>
      <exclusion>
         <groupId>org.apache.lucene</groupId>
         <artifactId>lucene-core</artifactId>
      </exclusion>
      <exclusion>
         <groupId>org.apache.lucene</groupId>
         <artifactId>lucene-queryparser</artifactId>
      </exclusion>
      <exclusion>
         <groupId>org.apache.lucene</groupId>
         <artifactId>lucene-analyzers-common</artifactId>
      </exclusion>
   </exclusions>
</dependency>

自定义

public class IKAnalyzer4Lucene7 extends Analyzer {

    private boolean useSmart = false;

    public IKAnalyzer4Lucene7() {
        this(false);
    }

    public IKAnalyzer4Lucene7(boolean useSmart) {
        super();
        this.useSmart = useSmart;
    }

    public boolean isUseSmart() {
        return useSmart;
    }

    public void setUseSmart(boolean useSmart) {
        this.useSmart = useSmart;
    }

    @Override
    protected TokenStreamComponents createComponents(String fieldName) {
        IKTokenizer4Lucene7 tk = new IKTokenizer4Lucene7(this.useSmart);
        return new TokenStreamComponents(tk);
    }
}

自定义
　　

public class IKTokenizer4Lucene7 extends Tokenizer {

    //IK分词器实现
    private IKSegmenter _IKImplement;

    //词元文本属性
    private final CharTermAttribute termAtt;
    //词元位移属性
    private final OffsetAttribute offsetAtt;
    //词元分类属性（该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量）
    private final TypeAttribute typeAtt;
    //记录最后一个词元的位置
    private int endPosition;

    /**
     * @param useSmart
     */
    public IKTokenizer4Lucene7(boolean useSmart) {
        super();
        offsetAtt = addAttribute(OffsetAttribute.class);
        termAtt = addAttribute(CharTermAttribute.class);
        typeAtt = addAttribute(TypeAttribute.class);
        _IKImplement = new IKSegmenter(input, useSmart);
    }

    @Override
    public boolean incrementToken() throws IOException {
        // 清除所有的词元属性
        clearAttributes();
        Lexeme nextLexeme = _IKImplement.next();
        if (nextLexeme != null) {
            // 将Lexeme转成Attributes
            // 设置词元文本
            termAtt.append(nextLexeme.getLexemeText());
            // 设置词元长度
            termAtt.setLength(nextLexeme.getLength());
            // 设置词元位移
            offsetAtt.setOffset(nextLexeme.getBeginPosition(),
                    nextLexeme.getEndPosition());
            // 记录分词的最后位置
            endPosition = nextLexeme.getEndPosition();
            // 记录词元分类
            typeAtt.setType(nextLexeme.getLexemeTypeString());
            // 返会true告知还有下个词元
            return true;
        }
        // 返会false告知词元输出完毕
        return false;
    }

    @Override
    public void reset() throws IOException {
        super.reset();
        _IKImplement.reset(input);
    }

    @Override
    public final void end() {
        // set final offset
        int finalOffset = correctOffset(this.endPosition);
        offsetAtt.setOffset(finalOffset, finalOffset);
    }
}

测试

@Test
//IK中文分词器
public void IKTest() throws IOException {

    /**
     * ikanalyzer 中文分词器 因为Analyzer的createComponents方法API改变了 需要我们自己实现
     * 分析器IKAnalyzer4Lucene7和分词器IKTokenizer4Lucene7
     */
    // IKAnalyzer 细粒度切分
    try (Analyzer ik = new IKAnalyzer4Lucene7()) {
        TokenStream ts = ik.tokenStream("content", text);
        System.out.println("IKAnalyzer中文分词器 细粒度切分，中文分词效果：");
        doToken(ts);
    }

    // IKAnalyzer 智能切分
    try (Analyzer ik = new IKAnalyzer4Lucene7(true)) {
        TokenStream ts = ik.tokenStream("content", text);
        System.out.println("IKAnalyzer中文分词器 智能切分，中文分词效果：");
        doToken(ts);
    }
}

private static void doToken(TokenStream ts) throws IOException {
    ts.reset();
    CharTermAttribute cta = ts.getAttribute(CharTermAttribute.class);
    while (ts.incrementToken()) {
        System.out.print(cta.toString() + "|");
    }
    System.out.println();
    ts.end();
    ts.close();
}