机器问答系统演进:N-Gram 和 Bag-of-Words;词嵌入;神经网络语言模型;循环神经网络与序列到序列模型;注意力机制与Transformer;ChatGpt

目录

机器问答系统演进

早期文本处理方法

词嵌入方法

神经网络语言模型

循环神经网络与序列到序列模型

注意力机制与Transformer

基于Transformer的预训练语言模型

先进的对话模型与通用智能


机器问答系统演进

早期文本处理方法

  • N-Gram 和 Bag-of-Words (BoW)
    • N-Gram:一种基于统计的语言模型,它考虑了文本中连续出现的N个词的序列(即N元组)。这种方法有助于捕捉文本的局部结构和词序信息。
    • Bag-of-Words:一种简化的文本表示方法,它将文本视为一个无序的词袋,忽略词序,只关注词频。这种方法在处理大量文本时计算效率高,但缺乏上下文信息。

词嵌入方法

  • Word2Vec
    • Word2Vec是一种将词转换为向量表示的方

猜你喜欢

转载自blog.csdn.net/qq_38998213/article/details/143509875