2017 经典的CVPR 关于ImageCaptioning论文

1.        SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning(2017 CVPR)

主要研究方向:大多数现有的基于注意力的图像字幕模型只考虑了空间特征,本文是对同一层的feature map(特征图)加入了权重考虑。

 

 2.        Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning(2017 CVPR)

主要研究内容: 更多的关注实体词之间的连词,比如“of”等。

解决思路:在框架中加入一个哨兵门,能够决定在生成实体词的时候应该注意图片,在生成连接词的时候,应该关注于语言。

Most methods force visual attention to be active for every generated word. However, the decoder likely requires little to no visual information from the image to predict non-visual words such as “the” and “of”.

 

猜你喜欢

转载自www.cnblogs.com/AntonioSu/p/12080110.html