企业网站seo策略,火星wap建站,网站建设运维,帝国cms怎么做网站声明一、介绍 近几年自然语言处理有很大的进展#xff0c;从 2018 年 Google 推出的 BERT#xff0c;到后来的 GPT、ChatGPT 等#xff0c;这些模型当时能取得这样的成果#xff0c;除了庞大的数据量及损害资源外#xff0c;最重要的是的就是背后的Transformer模型#xff0c… 一、介绍 近几年自然语言处理有很大的进展从 2018 年 Google 推出的 BERT到后来的 GPT、ChatGPT 等这些模型当时能取得这样的成果除了庞大的数据量及损害资源外最重要的是的就是背后的Transformer模型以及其使用的Attention Mechanism。 今天这篇文章将分为两个部分上一篇介绍序列到序列模型遇到的困难为何要引入 Attentino 以及机制下一篇则作用在 Transformer 背后的 Scaled Dot-Product Attention 以及实际的使用示例。
二、机器翻译 在开始之前我们先介绍一个自然语言处理的领域机器翻译。 翻译是一种典型的序列到序列Sequence to Sequence问题意思就是
输入是一个长度可以改变的序列例如一个中文句子。“今天天气很晴朗”输出是一个长度可以改变的序列例如一个英文句子。“今天阳光明媚” 假设今天 Transformer 还没有被发明电脑会如何处理这类问题呢 直觉上会想到的作法大概就像上面这张图一样分为两个步骤
把输入序列中文句子一个字一个字读完 在上面的表格中每个 x 对应的就是一个字而电脑会去读第一个字读完后存起来再读下一个字先读「今」再读「天」……之后把所有资讯存在中间的上下文向量。计算输出序列中文句子 输出时模型会根据上下文向量存储的信息一个字一个字的输出“it”, “s”, “sunny”, ……。
实践上确实可以用这样的模型制作机器翻译但是上面的例句很短如果今天我希望机器处理长一点的输入例如这篇文章那么会遇到下面的问题
上下文向量维度太小把比较前面的字给忘了读完前面才能读后面速度很慢
针对这一个问题下面的模型提出了解方
通过联合学习对齐和翻译进行神经机器翻译 这篇论文试图解决上面提出的第一点问题概念其实很简单既然 Context Vector 不可能存下整个输入句的信息那我就在每次输出字的时候都看一遍整个句子就好了。 注意的做法就是在输出每个字的时候分别给输入的字每个一个权重再让输入的句子做加权平均。 在下面的模型中输入的每个字会被先转成隐藏状态下面的h可以想成词嵌入然后模型根据目前翻译到的字和每个字各自的隐藏状态来计算Attention分数。 计算分数的函式会由模型自己学会。 举例假设现在模型已经输出“Its sunny”准备要输出下一个字 但是在输出前需要先确定哪些中文字对下一个输出来说比较重要所以它用某个函数 α 来计算每个字该有的分数α(sunny, 今) 0.8, α (“晴”,天) 0.6 …… 按理来说下一个字是“今天”所以输入中和「今天」两个字有关的部分会比较高分。 因此在输出“今天”之前每个中文字可能会有下面的分数。
「今」0.8「天」0.6「气」0.05「很」0.01…… 接下来把「今」的隐藏状态乘上 0.8、把「天」的隐藏状态乘上 0.6 ……接着把所有的隐藏状态加起来用它来计算下一个输出的英文字应该是什么。 这个模型其实就是Attention的雏型Attention的概念就是
赋予输入每个字一个权重将输入的字做加权计算 之后讲话注意的时候经常会提到三个东西Query、Key 和 Value虽然本文没有明确提到这三个词但是从上面的模型架构已经可以看出一些端倪
查询翻译到的前一个字“sunny”Key、Value每个字的隐藏状态注意分数α函式算出的分数 你可以用下面的句子来理解注意对于现在的查询正在翻译的英文字来说哪个键中文字最重要。 而在这个模型中Value 和 Key 本质上是一样的东西。
三、结论 这篇文章详细介绍了Attention机制的起源虽然现在在做自然语言处理时使用的大多不是这个模型但是通过前面的介绍可以理解为什么需要推出这个机制以及Attention的核心概念是什么。
下一篇文章将介绍现在大家使用缩放点积注意力的逻辑以及使用示例。欢乐哭泣
