【NLP】分词之词的概念

什么是词？

词是最小的（区别于词组）

    能自由运用的（区别于词素）

    语言单位（区别于纯语音单位）

现有的语言学理论还没有给出一个对自动分词实践有指导意义的定义，大量的多语素单位到底是词还是词组，许多单语素到底是词还是词素，很难确定。自动分词的三大难题归根结底都是由于词的定义不清而引起的。