一、self-attention

1. Vector Set as Input

从前我们都是输入一个vector，现在有些情况下，我们需要输入一个vector set。

文字处理
文字信号有两种处理方式
1. one- hot encoding
  但是对于文字处理来说，由于文字数多，存在纬度高，彼此之间无关联的缺点。
2. word embedding
  单词嵌入，把x所属空间的单词映射到y空间的多维向量。

顺便记录一下什么是embedding？
Embedding在数学上表示一个mapping，F：X->Y，且它是
Injective（单射函数，每个Y只有一个X对应，反之亦然）；
Structure-presserving（结构保存，比如X所属空间 $x_1$ < $x_2$ ,则在Y所属空间， $y_1$ < $y_2$ ）

声音信号
图
分子信息

2. Output

与此同时，输出也可以是有三种可能性。

每一个向量都有一个对应的Label
一整个Sequence,只需要输出一个Label
.机器要自己决定,应该要输出多少个Label（seq2seq）

3. self-attention介绍

首先，先来看一下self-attention的结构。
Self-Attention的运作方式就是,Self-Attention会吃一整个Sequence的资讯。
如此一来你这个Fully-Connected的Network,它就不是只考虑一个非常小的范围,或一个小的Window,而是考虑整个Sequence的资讯,再来决定现在应该要输出什麼样的结果，这个就是Self-Attention。
在这里插入图片描述
同时，self-attention可以套用多次。

其次，我们来看一下self-attention里面的样子。该图展示的是一个输出b1的产生过程。（注意，黄框部分省略了一个soft-max）

首先我们的每个输入 $a_i$ 都会分别乘三个weight，产生 $q_i$ , $k_i$ , $v_i$ 三个向量。（其中q叫做query，k叫做key）
然后计算 $a_{1,i}$ ，即用 $a_1$ 的query和 $a_i$ 的key计算关联性。
然后通过一个softmax生成 $a_{1,i}'$ .。
最后把所有的 $a_{1,i}'$ 乘于对应的 $v_{i}$ 相加，即求得了b1。
关联性的计算方式有两种（本文采用的是Dot-product）

然后，b2的产生过程也是类似。（需要注意的是，这几个b是同时算出来的，不是依次计算得出的）

从矩阵的角度来看，

最后，补充两点。
1.如果你觉得位置信息很重要，可以使用positional encoding的技术。
你為每一个位置设定一个 vector,叫做 positional vector,这边用 $e^i$ 来表示,上标 i 代表是位置,每一个不同的位置,就有不同的 vector,不同的位置都有一个它专属的 e,然后把这个 e 加到 $a^i$ 上面,就结束了。

2.Multi-head self-attention
我们在做这个 Self-attention 的时候,我们就是用 q 去找相关的 k,但是相关这件事情有很多种不同的形式,有很多种不同的定义,所以也许我们不能只有一个 q,我们应该要有多个 q,不同的 q 负责不同种类的相关性。
至于要几个head，就又是一个hyper-parameter了。

4.CNN vs self-attention

在这里插入图片描述

所以如果我们比较 CNN 跟 Self-attention 的话,CNN 可以看作是一种简化版的 Self-attention，因為在做CNN的时候,我们只考虑 receptive field 裡面的资讯,而在做 Self-attention 的时候,我们是考虑整张图片的资讯,所以 CNN,是简化版的 Self-attention。
或者是你可以反过来说,Self-attention 是一个复杂化的 CNN，考虑整张图的资讯，就好像机器自动学出了receptive field。