之前在自然语言处理技术系列的第一篇NER实战的结语中介绍过：序列标注（分词，NER），文本分类（情感分析），句子关系判断（语意相似判断），句子生成（机器翻译）是NLP领域的四大任务，之后我又陆续简单介绍了情感分析实战,和Seq2Seq生成对联。今天我们来到这个系列的终章篇——语义相似判断。语义相似判断就是判断两个句子是否具有相同的语义，其应用场景多用于问答系统：
- 判断两个问句是否具有相同的语义。
- 判断问题和检索出的答案是否匹配。
当然也可以用于其他场景比如判断两幅图片是否是一样——人脸识别，所以从广义上来说，就是语义相识判断就是判断两个东西是否具有某种相似度的任务。
语义相似判断任务简介
语义相似可以转化为一个分类问题。给模型输入两个句子,然后希望模型判断出两个句子语义是否相似。具体输入输出细节如下:
输入：
- 1.为何我无法申请开通花呗信用卡收款
- 2.支付宝开通信用卡花呗收款不符合条件怎么回事
输出：1
如果输出0表示不相似，输出1表示相似。
语义相似判断算法简介
语义相似还是NLP中的老问题，如何将句子映射到到向量空间中同时保持语义，然后我们就可以通过各种距离去衡量句子的相似程度。
- 上古时期的方式是通过bag of words，tf-idf这种词袋模型去映射句子。
- 之后出现了word2vector技术，我们就可以将一句话中每个词的的词向量求平均来