CLucene中Token类型

Token的类型

enum TokenTypes {
    _EOF,
    UNKNOWN,
    ALPHANUM,   为字母和数字
    APOSTROPHE,  标点符号
    ACRONYM,  首字母缩略词
    COMPANY,  公司AT&T.
    EMAIL,
    HOST,
    NUM,
    CJK    中日韩文字
  };