三乡网站建设公司,那个网站做二手车好,扬州网络优化推广,推进网站集约化建设的做法文章目录1 什么是Multilingual BERT2 Zero-shot Reading Comprehension3 Cross-lingual Alignment4 How alignment happens本文为李弘毅老师【Multilingual BERT】的课程笔记#xff0c;课程视频youtube地址#xff0c;点这里#x1f448;(需翻墙)。
下文中用到的图片均来自…
文章目录1 什么是Multilingual BERT2 Zero-shot Reading Comprehension3 Cross-lingual Alignment4 How alignment happens本文为李弘毅老师【Multilingual BERT】的课程笔记课程视频youtube地址点这里(需翻墙)。
下文中用到的图片均来自于李宏毅老师的PPT若有侵权必定删除。
文章索引
上篇 - 7-4 來自獵人暗黑大陸的模型 GPT-3
下篇 - 7-6 Text Style Transfer
总目录
1 什么是Multilingual BERT
世界上的语言有几千种如果我们需要某个语言的BERT预训练模型就要重新train一个BERT吗不用。Multilingual BERT就是说拿不同国家的语言按照chapter7-3中所述的方法在同一个BERT上去做预训练。Google训练过一个用104个国家的语言做训练集的BERT有钱就是任性。
2 Zero-shot Reading Comprehension
那么把这么多国家的语言放到同一个BERT中去训练有什么用吗可以做到每个语言train一个BERT做不到的事吗有and可以
Multi-BERT可以做到zero-shot相关的任务。比如我们有一组英文的QA训练数据每条数据是一篇文章一个问题和一个答案然后用它在Multi-BERT上做fine-tune之后可以在中文上做QA的任务
那么它的效果如何呢如下表所示使用了SQuAD英文QA数据集和DRCD中文数据集。表中的第一行是QANet在没有pre-train的情况下直接在中文QA数据集上训练并在中文上测试其F1-score是78.1我们拿BERT在中文数据上预训练并在中文QA数据集上fine-tune最后在中文上测试的F1-score是89.1可见BERT和与预训练是是的效果大幅提升的关键拿Multi-BERT在中文QA上fine-tune并在中文上测试F1-score是88.7这个还比只用中文预训练要差一些不过差距不大接下来就是重点了我们拿Multi-BERT在英文QA上做fine-tune并在中文上测试F1-score是78.8这已经比QANet高了最后一个是拿Multi-BERT在英文和中文QA上做fine-tune并在中文上测试F1-score是90.1这比第三个高可见英文的确有一些辅助作用。人类的F1-score是93.3已经很接近人类了。
当我们的手上只有英文的QA数据却想做中文的QA时Multi-BERT不失为一个比较好的选择。当然我们也可以选择先做一下翻译然后就相当于有了中文的QA数据再去训练。但这样的效果李老师测下来没有直接用Multi-BERT去fine-tune的效果好因为翻译的模型也是有错误的。不过这样的对比涉及到的变数太多说不好说不好。
不过这种跨语言的学习就很想人类的学习行为了很令人兴奋
google还出了一个专门用来看模型跨语言学习能力的比赛叫做xtreme就是在一种语言上去学习某个任务然后在其余几十种语言上去测试。
3 Cross-lingual Alignment
Multi-Bert可以做到跨语言的零样本学习是什么原因呢很大的可能就是Multi-Bert有跨语言的对齐就是在Multi-Bert输出的不同语言同一个意思的词的特征向量时这些特征向量时很接近的。比如兔和rabbit就会很接近鱼和fish就会很接近。
如何验证这一猜想我们可以建立一个Mean Reciprocal Rank。首先我们会选择一堆有对应关系的词出来比如对比中英文的时候就是有一个下图右上角所示的Bi-lingual Dictionary。然后我们会利用Multi-Bert计算每个词的特征向量一词多义取多个意思对应特征向量的平均计算特征向量之间的余弦相似度得到一个相似度矩阵。最后我们会看每个英文单词对应的正确中文单词在所有中文单词中与该英文单词相似度的排名分数就是排名的倒数比如“year”对应年然后在year的这一行“年的相似度是最高的那么排名就是1分数就是1/1又比如month对应月”然后在month这一行月的相似度排第3分数就是1/3。
我们把得到的scores取平均就得到了最终的Alignment的评价分数。
最终发现Multi-Bert的夸语言的alignment结果的确不错。李老师也试了一下用GlobeWord2vev等一些旧方法去训练跨语言的表征效果的确没有Multi-Bert好。
4 How alignment happens
那么Multi-Bert为什么可以完成跨语言的alignment呢有两种经典的猜想。一种猜想是不同语言之间有一些相同的token这些相同的token搭建了一个桥梁让模型可以在不同语言间对齐。另一种猜想是有一种神奇的语言X这个X中又有中文的token又有英文的token搭建了一个桥梁只要中文和X对齐英文也和X对齐中文和英文就对齐了。
有一篇论文就针对这种想法做了实验发现这两种猜想都不正确。他们用英语和伪造的假英语和英语完全不同的token来进行训练发现这两者之间有比较好的alignment可见模型在做alignment的时候不需要相同的token作为媒介。
说到这里有一个奇怪的地方就是在训练Bert的时候输入和输出的句子是一样的如果不同语言间的embedding是不独立的话那输入英文为什么不会输出同样意思的中文呢可见不同语言间的embedding是独立的Multi-Bert是有语言信息的。
为了验证这一点我们做了一个非常简单的尝试。我们把所有英文的embedding取平均所有中文的embedding取平均然后得到两者之间的差值向量在做reconstruction之前把这个差值给加上去看看会发生什么。
我们发现猜对了如下图中的表格所示如果输入一个英文句子然后加上一倍的差值就得到了表中α1\alpha 1α1的结果如果加上两倍的差值就得到了α2\alpha 2α2的结果句子越来越中文了虽然意思有点不太对劲但是至少证明了我们的猜想。
这个发现有什么用吗有如果我们英文的任务上做downstream的finetune然后在中文上测试时把这个差值给加上效果会有所提升真有意思啊~
