NLP学习笔记03---搭建一个智能客服系统概述

1.算法复杂度

时间复杂度和空间复杂度，这是任何AI工程师必须要深入理解的概念。对于每一个设计出来的算法都需要从这两个方面来分析。

int a = 0, b = 0; 

for (i = 0; i < N; i++) { #  O(N)+O(N)=2*O(N)=O(N)
    a = a + rand();# N*1个操作 = O(N)
    b = b + rand();# N*1个操作 = O(N)
} 
for (j = 0; j < N/2; j++) { 
    b = b + rand(); # N/2 *1个操作 = 1/2*O(N)=O(N)
} 

O(N)代表复杂度。

2.搭建一个智能客服系统

根据语料库(就是上图中的12个问答对)，计算用户输入的问题与语料库问题的相似度，将相似度最高的回答返回。

英文分词预处理操作：spell correctness(拼写纠错)、找出原形、stopwords(停用词过滤)、word filter(过滤词)、同义词

文本--->向量的方法：boolean vector(布尔向量)、conf vector(统计词出现的频率)、TF-IDF、word2vec(词向量)、seq2seq

计算相似度(给定2个向量)：欧式距离、cos 距离、jacrad 距离