CNN &Attention在nlp领域的应用

CNN

RNN能够捕捉长文本的长距离依赖关系被广泛的应用在自然语言处理领域,然而RNN也有其不可忽略的缺点:1、RNN可能会出现梯度消失或梯度爆炸问题;2、RNN由于其结构的前后依赖关系导致其不能进行并行计算。
https://kexue.fm/usr/uploads/2018/01/2257698255.pdf
CNN实际上是NLP的标配方法,思路比RNN更加自然。Facebook大作《Convolutional Sequence to Sequence Learning》充分体现了CNN在NLP中还有很大的挖掘空间。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Attention

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发布了13 篇原创文章 · 获赞 1 · 访问量 1485

猜你喜欢

转载自blog.csdn.net/u010443559/article/details/101362082
CNN
今日推荐