目录

一、注意力机制和自注意力机制的区别

二、引入自注意力机制的目的

三、Self-Attention详解

3.1 单个输出

3.2 矩阵形式

四、Multi-head Self-attention

 五、Positional Encoding

六、Self-Attention和RNN的区别

一、注意力机制和自注意力机制的区别

Attention机制与Self-Attention机制的区别

传统的Attention机制发生在Target的元素和Source中的所有元素之间。

简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中 Attention权值的计算不仅需要Encoder中的隐状态而且还需要Decoder中的隐状态。

Self-Attention

不是输入语句和输出语句之间的Attention机制 而是输入语句内部元素之间或者输出语句内部元素之间发生的Attention机制。

例如在Transformer中在计算权重参数时 将文字向量转成对应的KQV 只需要在Source处进行对应的矩阵操作 用不到Target中的信息。

二、引入自注意力机制的目的

神经网络接收的输入是很多大小不一的向量 并且不同向量向量之间有一定的关系 但是实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果极差。比如机器翻译问题(序列到序列的问题 机器自己决定多少个标签) 词性标注问题 一个向量对应一个标签) 语义分析问题(多个向量对应一个标签)等文字处理问题。

针对全连接神经网络对于多个相关的输入无法建立起相关性的这个问题 通过自注意力机制来解决 自注意力机制实际上是想让机器注意到整个输入中不同部分之间的相关性。

三、Self-Attention详解

针对输入是一组向量 输出也是一组向量 输入长度为N N可变化 的向量 输出同样为长度为N 的向量。

3.1 单个输出

对于每一个输入向量a 经过蓝色部分self-attention之后都输出一个向量b 这个向量b是考虑了所有的输入向量对a1产生的影响才得到的 这里有四个词向量a对应就会输出四个向量b。

下面以b1的输出为例

首先 如何计算sequence中各向量与a1的关联程度 有下面两种方法

        Dot-product方法是将两个向量乘上不同的矩阵w 得到q和k 做点积得到α transformer中就用到了Dot-product。

        上图中绿色的部分就是输入向量a1和a2 灰色的Wq和Wk为权重矩阵 需要学习来更新 用a1去和Wq相乘 得到一个向量q 然后使用a2和Wk相乘 得到一个数值k。最后使用q和k做点积 得到α。α也就是表示两个向量之间的相关联程度。

        上图右边加性模型这种机制也是输入向量与权重矩阵相乘 后相加 然后使用tanh投射到一个新的函数空间内 再与权重矩阵相乘 得到最后的结果。

        可以计算每一个α(又称为attention score q称为query k称为key

 另外 也可以计算a1和自己的关联性 再得到各向量与a1的相关程度之后 用softmax计算出一个attention distribution 这样就把相关程度归一化 通过数值就可以看出哪些向量是和a1最有关系。

 下面需要根据 α′ 抽取sequence里重要的资讯

 先求v v就是键值value v和q、k计算方式相同 也是用输入a乘以权重矩阵W 得到v后 与对应的α′ 相乘 每一个v乘与α 后求和 得到输出b1。

如果 a1 和 a2 关联性比较高  α1,2′ 就比较大 那么 得到的输出 b1 就可能比较接近 v2  即attention score决定了该vector在结果中占的分量

3.2 矩阵形式

用矩阵运算表示b1的生成

Step 1 q、k、v的矩阵形式生成

写成矩阵形式

 

把4个输入a拼成一个矩阵I 这个矩阵有4个column 也就是a1到a4 I乘上相应的权重矩阵W 得到相应的矩阵Q、K、V 分别表示query,key和value。

三个W是我们需要学习的参数

Step 2 利用得到的Q和K计算每两个输入向量之间的相关性 也就是计算attention的值α α的计算方法有多种 通常采用点乘的方式。

先针对q1 通过与k1到k4拼接成的矩阵K相乘 得到\alpha _{1,n}拼接成的矩阵。

同样 q1到q4也可以拼接成矩阵Q直接与矩阵K相乘

 

公式为

矩阵形式

矩阵A中的每一个值记录了对应的两个输入向量的Attention的大小α A 是经过softmax归一化后的矩阵。

Step 3 利用得到的A 和V 计算每个输入向量a对应的self-attention层的输出向量b

 

写成矩阵形式

 对self-attention操作过程做个总结 输入是I 输出是O

矩阵Wq、 Wk 、Wv是需要学习的参数。

四、Multi-head Self-attention

self-attention的进阶版本Multi-head Self-attention 多头自注意力机制

因为相关性有很多种不同的形式 有很多种不同的定义 所以有时不能只有一个q 要有多个q 不同的q负责不同种类的相关性。

对于1个输入a

 首先 和上面一样 用a乘权重矩阵W得到q^i 然后再用q^i乘两个不同的W 得到两个不同的q^{i,n} i代表的是位置 1和2代表的是这个位置的第几个q。

这上面这个图中 有两个head 代表这个问题有两种不同的相关性。

同样 k和v也需要有多个 两个k、v的计算方式和q相同 都是先算出来ki和vi 然后再乘两个不同的权重矩阵。

对于多个输入向量也一样 每个向量都有多个head

 

算出来q、k、v之后怎么做self-attention呢

和上面讲的过程一样 只不过是1那类的一起做 2那类的一起做 两个独立的过程 算出来两个b。

对于1

 对于2

这只是两个head的例子 有多个head过程也一样 都是分开算b。

最后 把b^{i,1},b^{i,2}拼接成矩阵再乘权重矩阵W 得到b^i 也就是这个self- attention向量ai的输出 如下图所示

五、Positional Encoding

在训练self attention的时候 实际上对于位置的信息是缺失的 没有前后的区别 上面讲的a1,a2,a3不代表输入的顺序 只是指输入的向量数量 不像rnn 对于输入有明显的前后顺序 比如在翻译任务里面 对于“机器学习” 机器学习依次输入。而self-attention的输入是同时输入 输出也是同时产生然后输出的。

如何在Self-Attention里面体现位置信息呢 就是使用Positional Encoding

也就是新引入了一个位置向量e^i 非常简单 如下图所示

每一个位置设置一个vector,叫做positional vector 用e^i表示 不同的位置有一个专属的ei。

如果ai加上了ei 就会体现出位置的信息 i是多少 位置就是多少。

vector长度是人为设定的 也可以从数据中训练出来。

六、Self-Attention和RNN的区别

Self-attention和RNN的主要区别在于

1.Self-attention可以考虑全部的输入 而RNN似乎只能考虑之前的输入 左边 。但是当使用双向RNN的时候可以避免这一问题。
2.Self-attention可以容易地考虑比较久之前的输入 而RNN的最早输入由于经过了很多层网络的处理变得较难考虑。
3.Self-attention可以并行计算 而RNN不同层之间具有先后顺序。

1.Self-attention可以考虑全部的输入 而RNN似乎只能考虑之前的输入 左边 。但是当使用双向RNN的时候可以避免这一问题。

比如 对于第一个RNN 只考虑了深蓝色的输入 绿色及绿色后面的输入不会考虑 而Self-Attention对于4个输入全部考虑

 2.Self-attention可以容易地考虑比较久之前的输入 而RNN的最早输入由于经过了很多层网络的处理变得较难考虑。

比如对于最后一个RNN的黄色输出 想要包含最开始的蓝色输入 必须保证蓝色输入在经过每层时信息都不丢失 但如果一个sequence很长 就很难保证。而Self-attention每个输出都和所有输入直接有关。

 3.Self-attention可以并行计算 而RNN不同层之间具有先后顺序。

Self-attention的输入是同时输入 输出也是同时输出。

参考

第四节 2021 - 自注意力机制(Self-attention)(上)_哔哩哔哩_bilibili

(53条消息) Attention机制与Self-Attention机制的区别_At_a_lost的博客-CSDN博客_attention和self attention的区别

自注意力机制 - 知乎 (zhihu.com)

Self-Attention 自注意力机制 - 知乎 (zhihu.com)

【自然语言处理】 自注意力机制(self-attention)原理介绍 - Geeksongs - 博客园 (cnblogs.com)


自力机制是一种注意力机制,它可以在序列数据中学习到不同位置之间的关联性。在Keras中,可以使用transformer模型来实现自注意力机制。这个模型使用多头注意力机制来捕捉输入序列中的不同关系,并通过位置编码来维持序列的顺序性。具体来说,在Keras中实现自注意力机制的方法是使用self-attention层,它可以通过学习来确定输入序列中每个位置与其他位置的权重。通过计算加权和,可以得到自注意力机制的输出。一种常见的自注意力机制是Transformer模型,它使用多个自注意力层和前馈神经网络层来构建。在Keras中,可以使用Transformer模型的预定义层来方便地实现自注意力机制。这些层包括SelfAttention、MultiHeadAttention和PositionalEncoding等。在使用Keras实现自注意力机制时,可以参考已有的代码和函数。例如,可以使用transformer模型中的SelfAttention和MultiHeadAttention层来构建自注意力机制。还可以使用PositionalEncoding层来维持序列的顺序性。通过这些预定义层,可以很方便地在Keras中实现自注意力机制。总结起来,使用Keras可以通过使用transformer模型的预定义层来实现自注意力机制。这些层包括SelfAttention、MultiHeadAttention和PositionalEncoding等。通过这些层,可以方便地构建自注意力机制并在序列数据中学习到不同位置之间的关联性。 span >

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

更多文章请关注《万象专栏》