不用代码做网站,办网,网站访客qq抓取,天津网站制作公司电话文 | AlbertYang编 | 小轶表格的自动理解与检索已经成为 NLP 以及多模态任务中重要的一环。如果我们给模型一个冬奥会的奖牌榜并且问#xff0c;“哪个国家的金牌最多#xff1f;”#xff0c;现有的模型已经可以毫不费力地输出正确的答案#xff08;通常都是表格首行的国家… 文 | AlbertYang编 | 小轶表格的自动理解与检索已经成为 NLP 以及多模态任务中重要的一环。如果我们给模型一个冬奥会的奖牌榜并且问“哪个国家的金牌最多”现有的模型已经可以毫不费力地输出正确的答案通常都是表格首行的国家金牌最多。但是如果我们把表格的所有行顺序打乱模型还能输出正确答案吗又或者模型依然无脑选择首行的国家呢小编在谷歌实习期间发现模型在理解表格时总是通过行列顺序的线索作弊。于是乎为了解决这个问题我在 ACL2022 的这篇文章里提出了 TableFormer一种对表格行列顺序扰动严格鲁棒的架构引入了 13 种可学习的注意力偏置标量。由此TableFormer 还能够更好地编码表格结构以及对齐表格和相应的文本描述例如自动问答中的问题。TableFormer 在基于表格的自动问答和事实核查的三个常用数据集中都取得了不俗的表现并在基于表格的连续问答任务中实现SOTA。当面临表格行列扰动时TableFormer由于其严格的鲁棒性比之前最好的模型得到6%-10%的绝对提升下面我们来看看这篇文章的具体细节吧。论文题目TableFormer: Robust Transformer Modeling for Table-Text Encoding论文链接https://arxiv.org/pdf/2203.00274.pdf代码将于以下地址开源https://github.com/google-research/tapas关于表格理解需要模型编码表格的典型任务包括基于表格的语义解析如文本转SQL输出常常是能够在表格上执行的SQL语句基于表格的自动问答输出是从表格中提取或者生成的答案基于表格的事实核查输出是二分类标签表示语言表述是否符合表格事实模型除了要编码半结构化的表格数据还需要具有能够同时编码表格与文本的能力。很多图片与文本编码的多模态模型也被用来编码表格与文本。同时为了在表格理解推理的任务上实现SOTA结果需要在预先收集的表格文本对上大规模预训练甚至数据扩增。最新的方法与文章可以参考本文的相关工作或者作者整理的论文列表:https://github.com/JingfengYang/Multi-modal-Deep-Learning#table此前应用最广泛的架构是 TAPAS [4]也是很长时间里 huggingface transformers 里唯一存在的表格问答模型 [2]。为了编码表格结构TAPAS 以及之前的工作都需要将表格序列化并和文本拼接起来当作 BERT或者 BART的输入。为了在序列化的表格中加入表格结构信息在编码单元格时TAPAS使用了行 ID 向量和列 ID 向量作为额外的特征其他很多模型把表头中相应的列名当作额外的特征或者单元格的前置 token。然而行列 ID 以及 BERTBART中存在的序列相对位置或者绝对位置编码会引入表格行列顺序的虚假偏置spurious bias。在回答绝大多数问题时我们希望模型真正理解表格内容而不是根据行列顺序的虚假偏置来作出判断。理想情况下模型只需要知道同行同列信息即可不需要知道额外的行及列的顺序信息。实验表明用TAPAS执行表格问答任务时如果在预测阶段加入随机的行列扰动模型的表现会下降4%-6%。TableFormer结构为了解决上述问题并且进行更好的表格结构编码以及文本表格内容对齐本文引入了13种结构化注意力偏置每种偏置用一个可学习的标量表示与self-attention 中key value计算好并且scaling之后的similarity score相加以针对不同的结构位置自动调整注意力程度。举例来说表格中某个token对同一行或者同一列的token会有特定的注意力分数对文本token会有特定的注意力分数对表头相应的列名称也会有特定的注意力分数。用公式表示的话就是对Transfomer中的self-attention机制做了如下调整402 Payment Required其中是序列中第i个query 的向量表示 是序列中第j个key的向量表示 是query和key的关系对应的归纳偏置标量。前面提到共有13种关系对应13种偏置:其中同行注意力偏置能够帮助编码token位于表格同一行的信息同列注意力偏置、当前token对相应表头列名的注意力偏置、表头列名对该列单元格token的注意力偏置能够帮助编码同一列信息当前token对相应表头列名的偏置能够让单元格注意到表头信息而不需要多次重复地将表头前置于每个单元格表头对文本以及单元格对文本的注意力偏置能够帮助对齐文本描述和相应表格内容grounding。为了实现对行列扰动的严格鲁棒性本文删除了 TAPAS 的表格行 ID 以及列ID并把BERT的全序列位置编码改成每个单元格独立的位置编码即每个单元格的 token 序列从 0 开始编码。删除这些行列顺序相关的信息后表格结构的编码完全由行列注意力偏置实现。这样无论如何扰动表格行列顺序在 TableFormer 的视角输入总是完全相同的由此可以保证扰动前后预测的完全一致性。TableFormer 的模型输入以及注意力偏置结构如图所示实验与分析本文在三个表格理解与推理的数据集上进行了实验分别为SQA基于表格的连续问答WTQ基于表格的复杂问答和TabFact基于表格的事实核查。除了标准的评测数据本文还将SQA和TabFact的测试集中的表格行列施加随机扰动构造了扰动测评的场景。除了标准的评测指标本文还提出了一个 VPvariation percentage指标来度量所有测试样例中扰动前后预测出现变化的比例的下界可以作为样例水平鲁棒性的上界VP越低越鲁棒。402 Payment Required其中 t2t, t2f, f2t, f2f 分别表示扰动后预测从正确变为正确从正确变为错误从错误变为正确从错误变为错误的样例数目。在SQA的标准测试集上TableFormer超过了所有baseline实现了SOTA在扰动测试的场景下取得了比相应TAPAS模型高出6% - 10%的绝对提升在TabFact上同样取得了比TAPAS显著的提升在扰动测试的场景下提升更为明显同样在WTQ上TableFormer也稳定超越了TAPAS具体实验结果可见原文。本文还设计了一系列对比实验指出在设计TableFormer时有一些重要的启示可学习的注意力偏置比注意力掩码更适合表格结构编码可能是因为严格的行列掩码限制了token注意到非同行同列单元格token的能力。施加注意力偏置的位置很重要要在计算key value 的相似分数以及scaling之后加注意力偏置标量而非在scaling之前。即402 Payment Required优于402 Payment Required这是因为scaling的目的是为了调整key value 高维向量点积后向量的模长而注意力偏置是一个标量不需要scaling注意力偏置的 scaling会导致偏置分数缩小从而限制偏置对于最终注意力分数的影响并且影响表格结构偏置的注入效果。TAPAS删除行列ID以及将序列全局位置编码改成单元格内部位置编码后模型效果显著下降而TableFormer在这些改动之后可以维持效果说明TableFormer的注意力偏置已经足够用来编码表格结构而不需要额外的行列信息。相关实验数据如下表另一个很自然的想法来解决表格行列顺序扰动带来的影响是在训练时随机扰动表格进行数据扩增而不改变TAPAS的模型结构。本文也对TableFormer和这种数据扩增进行了对比实验。实验表明数据扩增虽然可以减小扰动对于模型总体效果的影响但最好的表现依然逊色于TableFormer可能由于TableFormer带来了额外的有效偏置信息如文本表格对齐等。并且数据扩增无法保证样例水平模型预测对扰动的鲁棒性从而VP远远高于TableFormer接近于0的VP启示本文除了发现表格行列扰动下模型的鲁棒性问题以及提出TableFormer严格的解决方案外还带给我们一些启示类似TableFormer、Graphomer [3]很多结构化与半结构化的数据都可以用注意力偏置标量来编码token间的关系。结构化数据编码模型的鲁棒性问题应该被重视。设计模型时每一个component的选择都要非常用心例如归纳偏置加在scaling之后或者之前对模型表现就有很大的影响。作者简介本科毕业于北大Georgia Tech硕士毕业后暂时放弃UW CS NLP的PhD去工业界Amazon做了Applied Scientist。不管在哪里还是希望能做一些扎实的研究或者应用问题。后台回复关键词【入群】加入卖萌屋NLP、CV与搜推广求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] Yang, Jingfeng, et al. TableFormer: Robust Transformer Modeling for Table-Text Encoding. ACL 2022.[2] https://huggingface.co/models?pipeline_tagtable-question-answeringsortdownloads[3] Ying, Chengxuan, et al. Do Transformers Really Perform Badly for Graph Representation?. Advances in Neural Information Processing Systems 34 (2021).[4] Herzig, Jonathan, et al. TaPas: Weakly supervised table parsing via pre-training. ACL 2020.
