自然语言处理 —— 02 基于规则的词法分析

一、什么是词法分析？

词：是自然语言中能够独立运用的最小单位，是语言信息处理的基本单位。
词法分析：是词汇层的分析技术。主要包括词的识别、形态分析、词性标注等任务。

1. 词的识别

将句子转换成词序列【就是分词？】

2. 形态分析

词的构成、形态变化、词形还原。

3. 词性标注

标记句子中的词的词性。

二、英文的词法分析

英文属于屈折型语言：因为（1）词之间一般有边界标记；（2）词的形态变化丰富。

1. 英文词的识别

2. 英文词的还原

（1）词形还原（Lemmatization）