文本预处理

在nlp工程中，文本预处理的流程通常包含以下步骤：获取原始文本、分词、文本清洗、标准化、特征提取、建模等。下面我们会分步骤，分别对每一个步骤的常用方法和常用库进行介绍。

中英文在分词上，由于语言的特殊性导致分词的思路也会不一样。大多数情况下，英文直接使用空格就可以进行分词。