专业做阿里巴巴网站的公司,保险网站 源码,手机网站制作平台免费,上海制作网站开发本文转载自公众号“夕小瑶的卖萌屋”#xff0c;专业带逛互联网算法圈的神操作 -----》我是传送门 关注后#xff0c;回复以下口令#xff1a; 回复【789】 #xff1a;领取深度学习全栈手册#xff08;含NLP、CV海量综述、必刷论文解读#xff09; 回复【入群】#xf… 本文转载自公众号“夕小瑶的卖萌屋”专业带逛互联网算法圈的神操作 -----》我是传送门 关注后回复以下口令 回复【789】 领取深度学习全栈手册含NLP、CV海量综述、必刷论文解读 回复【入群】加入卖萌屋深度学习/NLP/CV/搜广推等方向的技术交流与内推社群大V、顶会审稿人云集 回复【0511】领取算法岗面试手册刷offer神器 回复【0424】领取刷论文神器挖掘每日、每月必刷重磅论文 目录
前言
Why
What
绝对位置编码
相对位置编码
Sinusoidal Position Encoding
Complex embedding
How 前言
相信熟悉BERT的小伙伴对positional encoding位置表示 肯定都不会陌生~ 虽然positional encoding只是BERT中比较小的一个组成部分但是实际上却暗藏玄机。所以今天呢我们就把positional encoding单独拎出来对其进行一个全面的剖析~~ Why为什么需要positional encoding What两种positional encoding方式绝对位置编码与相对位置编码 How不同方法优缺点对比
Why
众所周知文本是时序型数据词与词之间的顺序关系往往影响整个句子的含义。举个栗子
小夕/是/一个/萌/妹子。一个/妹子/是/萌/小夕萌/小夕/是/一个/妹子 为了避免不必要的误会所以我们在对文本数据进行建模的时候需要考虑词与词之间的顺序关系。
可是要建模文本中的顺序关系必须要用positional encoding吗
答案是No
只有当我们使用对位置不敏感(position-insensitive)的模型对文本数据建模的时候才需要额外使用positional encoding。
什么是对位置敏感的模型什么又是对位置不敏感的模型 如果模型的输出会随着输入文本数据顺序的变化而变化那么这个模型就是关于位置敏感的反之则是位置不敏感的。
用更清晰的数学语言来解释。设模型为函数,其中输入为一个词序列输出结果为向量。对的任意置换,都有
则模型是关于位置不敏感的。
在我们常用的文本模型中RNN和textCNN都是关于位置敏感的使用它们对文本数据建模时模型结构天然考虑了文本中词与词之间的顺序关系。而以attention为核心的transformer则是位置不敏感的使用这一类位置不敏感的模型的时候需要额外加入positional encoding引入文本中词与词的顺序关系。
What
对于transformer模型的positional encoding有两种主流方式
绝对位置编码 现在普遍使用的一种方法Learned Positional Embedding编码绝对位置相对简单也很容易理解。直接对不同的位置随机初始化一个postion embedding加到word embedding上输入模型作为参数进行训练。
相对位置编码
使用绝对位置编码不同位置对应的positional embedding固然不同但是位置1和位置2的距离比位置3和位置10的距离更近位置1和位置2与位置3和位置4都只相差1这些关于位置的相对含义模型能够通过绝对位置编码get到吗使用Learned Positional Embedding编码位置之间没有约束关系我们只能期待它隐式地学到是否有更合理的方法能够显示的让模型理解位置的相对关系呢
所以就有了另一种更直观地方法——相对位置编码。下面介绍两种编码相对位置的方法Sinusoidal Position Encoding和Complex embedding。
Sinusoidal Position Encoding
使用正余弦函数表示绝对位置通过两者乘积得到相对位置
这样设计的好处是位置的psotional encoding可以被位置线性表示反应其相对位置关系。
Sinusoidal Position Encoding虽然看起来很复杂但是证明可以被线性表示只需要用到高中的正弦余弦公式注意长公式可以左右滑动噢
对于位置的positional encoding
其中
将公式56稍作调整就有
注意啦和相对距离是常数所以有
其中为常数。
所以可以被线性表示。
计算和的内积有
其中.
和的内积会随着相对位置的递增而减小从而表征位置的相对距离。但是不难发现由于距离的对称性Sinusoidal Position Encoding虽然能够反映相对位置的距离关系但是无法区分方向/(ㄒoㄒ)/~~
更加直观的对其可视化[1]可以看到图像关于对称无法区分前后关系。 Complex embedding
为了更好的让模型捕获更精确的相对位置关系比如相邻前序precedence等ICLR 2020发表的文章《Encoding Word Oder In Complex Embeddings》使用了复数域的连续函数来编码词在不同位置的表示。
不管是Learned Postional Embdedding还是Sinusoidal Position Encoding某个词在位置上的表示为其word embedding加上对应位置的embedding即
同word embedding 都是从整数域到实数域的一个映射。
对于word embedding来说这样的设计是合理的。因为不同词的index是独立的仅和我们具体使用的词典怎么排序有关系某个词是否在另外一个词前面或者相邻没有任何的信息。但是位置的index并不是满足独立的假设其顺序关系对文本的正确理解有非常重要的影响。
所以为了解决pos index的依赖问题position-insensitive problem文章使用了关于位置的连续函数来表征词在的表示即
把公式(13)展开有
其中是关于位置在复数域上的函数。
为了让上述函数更好的表征位置的相对信息要求函数满足以下两个性质 Position-free offset transformation
存在一个函数 使得
其中在不影响理解的情况下我们把简写成。也就是说词在pos或者posk的表示可以由只和相对位置k有关的一个变换得到而与具体这个词无关。 Boundedness
要求函数有界。非常合理的一个限制。
最后论文证明了在复数域上满足这个两个条件的函数一定为下面这样的形式
将其改写成指数的形式则为
其中为振幅为角频率为初相都是需要学习的参数~~
将式17代入14有
要表征词在pos上的embedding需要学习的参数有, 以及。以此类推要表示词表中所有的词那么需要学习的参数量为????.由于参数量较大论文后续还提出了一些减小参数量的方法有兴趣的同学可以看具体查阅原文哦~~~
How
以上三种positional encoding都不同程度、各有侧重的编码了文本数据中的顺序关系那么到底哪个更好我们在平时使用的时候应该如何选择呢
结果导向的话肯定是哪种方法效果好选哪种啦~~在《Attention is all you need》[2]里面提到Learned Positional Embedding和Sinusoidal Position Encoding两种方式的效果没有明显的差别。在论文[3]实验结果表明使用Complex embedding相较前两种方法有较明显的提升。不过介于这个方法还比较新大家可以多多尝试对比。 从方法的可理解性上相比相对位置编码的两种方法Learned Positional Embedding更加的简单直接易于理解。从参数维度上使用Sinusoidal Position Encoding不会引入额外参数Learned Positional Embedding增加的参数量会随线性增长而Complex Embedding在不做优化的情况下会增加三倍word embedding的参数量。在可扩展性上Learned Positional Embedding可扩展性较差只能表征在以内的位置而另外两种方法没有这样的限制可扩展性更强。
讲了这么多相信大家对positional encoding已经有了充分的理解~~至于到底应该如何选择还是需要基于大家对方法的理解实际问题实际分析哦????
本文转载自公众号“夕小瑶的卖萌屋”专业带逛互联网算法圈的神操作
-----》我是传送门
关注后回复以下口令
回复【789】 领取深度学习全栈手册含NLP、CV海量综述、必刷论文解读
回复【入群】加入卖萌屋深度学习/NLP/CV/搜广推等方向的技术交流与内推社群大V、顶会审稿人云集
回复【0511】领取算法岗面试手册刷offer神器
回复【0424】领取刷论文神器挖掘每日、每月必刷重磅论文
参考文献
[1] 可视化: https://kazemnejad.com/blog/transformer_architecture_positional_encoding/#what-is-positional-encoding-and-why-do-we-need-it-in-the-first-place[2] Attention is all you need: https://arxiv.org/pdf/1706.03762.pdf
[3] Complex Embeddings: https://openreview.net/pdf?idHke-WTVtwr
