第七章 分词器：Text Analysis

1、分词器认知基础

1.1 基本概念

分词器官方称之为文本分析器，顾名思义，是对文本进行分析处理的一种手段，基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。

1.2 分词发生时期

分词器的处理过程发生在 Index Time 和 Search Time 两个时期。

• Index Time：文档写入并创建倒排索引时期，其分词逻辑取决于映射参数analyzer。
• Search Time：搜索发生时期，其分词仅对搜索词产生作用。

1.3 分词器的组成

• 切词器（Tokenizer）：用于定义切词（分词）逻辑
• 词项过滤器（Token Filter）：用于对分词之后的单个词项的处理逻辑
• 字符过滤器（Character Filter）：用于处理单个字符

注意：

• 分词器不会对源数据造成任何影响，分词仅仅是对倒排索引或者搜索词的行为。

2、文档归一化处理：Normalization