NLP的基础任务及常见应用
其他
2020-10-16 00:13:35
阅读次数: 0
NLP的两大核心任务:NLP = NLU + NLG
NLU(自然语言理解):
NLG(自然语言生成):
NLP的基础任务:
- 分词(前向最大匹配算法,后向最大匹配算法)
- 词性标注(POS,也叫序列标注sequence labeling,每个单词单独做分类,
算法:HMM,CRF)
- 命名实体识别(NER)
- 句法分析(syntatic analysis,主谓宾)
- 语义分析(semantic analysis,如何理解一个单词和文本的意思)
NLP常见的应用:
- 写作助手(拼写纠错,语言模型)
- 文本分类(情感,情绪,主题分类)
- 信息检索(搜索引擎)
检索 —> 文本处理 —> 搜索(文本库—>索引(倒排表)) —> 排序(pagerank)
- 问答系统(QA)
-目的:直接给用户提供答案
-问答系统和检索系统的区别:检索返回相关结果,问答直接返回答案
-问答系统需要更多语义方面的理解
- 自动生成文本摘要(抽取式,生成式)
- 机器翻译
- 信息抽取(NER,实体统一,指代消解,关系分类)
转载自blog.csdn.net/lyj223061/article/details/109057059