网络营销渠道的概念,做seo优化产品网站,汕头建站免费模板,设计公司排名文 | 白鹡鸰给小铁比了个心编 | 小轶背景“每个人都依赖自己的知识和认知#xff0c;同时又为之束缚#xff0c;还将此称为现实#xff1b;但知识和认识是非常暧昧的东西#xff0c;现实也许不过是镜花水月——人们都是活在偏见之中的#xff0c;你不这样认为吗#xff1… 文 | 白鹡鸰给小铁比了个心编 | 小轶背景“每个人都依赖自己的知识和认知同时又为之束缚还将此称为现实但知识和认识是非常暧昧的东西现实也许不过是镜花水月——人们都是活在偏见之中的你不这样认为吗这双眼睛又能看多远呢”机器学习作为模仿人类思维方法进行建模的过程虽然从数据中抽取模型的水平还不如人类但是在获取偏见bias的方面已经青出于蓝而胜于蓝了。关于机器学习模型偏见产生的机理谷歌花了59页从自然语言、图像处理和生物医疗领域进行了详细的分析。结论是不论数据集多大必然存在采样偏差因此模型或多或少总会学到假特征扩大数据集不是修正模型偏见的终极解决方案。遗憾的是谷歌并没在文中提出有创见性的改进意见只是建议大家多做测试。不过谷歌没搞大新闻也没关系。Hugging Face表示即使不去显式地定位模型的偏差即使只有有偏的数据集他们照样有办法炼出鲁棒性高的模型能从容应对与训练测试集分布不同的真实场景。这是怎么做到的呢下面就让我们一起来看看吧~论文题目Learning from Others Mistakes: Avoiding Dataset Biases Without Modeling Them论文链接:https://arxiv.org/abs/2012.01300Arxiv访问慢的小伙伴也可以在 【夕小瑶的卖萌屋】订阅号后台回复关键词 【0125】 下载论文PDF~核心思想“盲人摸象”是现在很多模型的生动写照大象真实场景中数据量体积庞大盲人仅凭双手难以触及全貌采样无法覆盖所有场景。即使一群盲人摸同一头象每个人也只知道部分内容容易以偏概全假特征。如果让每个盲人独立判断自己摸到的是什么就会把非决定性特征视作决定性特征从而出现不同的预测错误。但是如果允许盲人们交流讨论他们就可以分析各自判断错误的原因。以此为依据去调整每个特征导向正确结果的概率甚至归纳出新的隐藏特征。这篇论文的工作就是在探究 “盲人”弱学习器weak learners之间如何进行有效地“讨论”Products of Experts并分析每个弱学习器至少需要掌握多少信息才能对正确的预测结果有所帮助。方法从一个“古老”的方法说起看到Product of Experts (PoE)的第一眼白鹡鸰是懵逼的。这个名字很自然地令人联想到专家系统的某种变体。然而这都2021年了莫非是要文艺复兴的节奏仔细一查PoE的作用确实是总结多个模型包含的知识基于特定算法和总结的先验知识进行预测妥妥的一个专家系统在2002年由Hinton大神提出 [1]。顾名思义PoE在基于个专家模型构建最终的预测模型时公式中充斥着累乘其中是可能出现的事件是模型中所有的参数是模型预测事件出现的概率是事件的状态空间。当状态空间是连续的时候需要将分母上的累加改为积分。这个公式符号有些复杂但实质就是在先验信息是联合分布的情况下求一个事件发生的概率。这个方法的优点在于即使每个专家模型都只关心特定的事件而对其他情况预测表现不佳综合下来PoE对事件的预测都能达到一个较好的结果。具体应用过程在Hugging Face提出的方法中需要一个弱学习器 和一个主学习器。记和输出的logits vector即未经归一化的概率分布分别为和。数据集和标签记作最终预测结果有类。首先用标准化交叉熵作为损失函数预训练。然后挑选出预测错误的样本集。接着将作为输入得到两个学习器的输出构造合并后的logits vector:则显然有因为公式的分母都是常数换言之其中是向量中对应元素相乘的运算符号再把上式右边再归一化处理一下就有这里是指将向量的每一维累加如果将 看作PoE中子模型的预测输出可以发现看似简单的构造中其实蕴涵着PoE的思想。感兴趣的朋友们可以参考Hugging Face的原文和[2]自行推导。当用逻辑回归进行二元分类任务时和可以视作标量即预测为正样本的概率, 上式中的softmax也退化为sigmoid。则针对单个正样本的损失函数为此时冻结的参数只更新的参数。损失函数是上述PoE loss与普通交叉熵损失之和只用来更新。训练完成后即为最终的预测模型。这样就达到了令向“学习” 的效果。但与知识蒸馏不同之处在于这里的“学习”并非以“模仿”为目的而是从的错误中进行学习。实验设计与结果这种去偏差方法无疑设计得很巧妙一方面它省去了显性定位模型偏差的功夫节约大量人力资源另一方面损失函数的计算较为简便节约大量计算资源。不过再怎么吹没看到结果之前都是空的。首先是在自然语言推断(Natural Language Inference)任务上的验证。研究者们在MNLI数据集上采用基于TinyBERT的弱学习器和基于BERT的主学习器进行训练。模型的任务是基于前提premise statement将假设hypothesis statement分类为真entailment假contradiction或不确定neurtral。训练完成后不仅在MNLI数据集上检测分类的准确性还在与MNLI数据分布不同的HANS上检验了模型结果如图1所示。在heuristic-non-entailment的样本上PoE将主学习器的正确率提高了将近24%但是在与in-distribution accuracy上预测效果不升反降这可能是因为文章提出的模型过于关注弱学习器犯的错误而没有关注in-distribution prediction的优化导致的。然后是在QA(Question Answering)任务上的验证。学习器和上文设置一样用SQuAD数据集训练在Adversarial SQuAD数据集上检验。结果如图2所示。这一任务上PoE的采用对预测器鲁棒性的优化十分显著。上述测试以外文章还探讨了弱学习器的参数量和主学习器的鲁棒性的关联。由图三可以看出弱学习器的正确率不会随着参数量的增加获得很大提升。而主学习器在in-distribution数据上性能显著下降在out-distribution数据上则性能提升。总结和感想除了对模型本身的理解写这篇文章更深层的动机是想说明处理数据不均衡/模型有偏正在成为机器学习中共同的研究热点。其实在任何基于统计原理的建模方法上这都是一个无法回避的挑战只不过说之前因为数据量不够、基本模型不够完善所以热度没有起来。而现在时机已经逐渐成熟2021年恐怕这个难点上大新闻会此起彼伏真是令人期待。萌屋作者白鹡鸰白鹡鸰jí líng是一种候鸟天性决定了会横跨很多领域。已在上海交大栖息四年进入了名为博士的换毛期。目前以图像语义为食但私下也对自然语言很感兴趣喜欢在卖萌屋轻松不失严谨的氛围里浪~~形~~飞~~翔~~知乎ID也是白鹡鸰欢迎造访。作品推荐NLP太卷我去研究蛋白质了~谷歌40人发表59页长文为何真实场景中ML模型表现不好后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] Hinton, Geoffrey E. Training products of experts by minimizing contrastive divergence. Neural computation 14.8 (2002): 1771-1800.[2] Mahabadi, Rabeeh Karimi, Yonatan Belinkov, and James Henderson. “End-to-End Bias Mitigation by Modelling Biases in Corpora.” ACL,(2020). https://arxiv.org/abs/1909.06321[3] Utama, Prasetya Ajie, Nafise Sadat Moosavi, and Iryna Gurevych. Towards debiasing NLU models from unknown biases. arXiv preprint arXiv:2009.12303 (2020). https://arxiv.org/abs/2009.12303[4] He, He, Sheng Zha, and Haohan Wang. Unlearn dataset bias in natural language inference by fitting the residual. arXiv preprint arXiv:1908.10763 (2019). https://arxiv.org/abs/1908.10763
