上海网站制作开发公司,谷歌搜索引擎363,通过付费网站做lead,九江seo优化来源#xff1a;AI科技评论作者:维克多人工智能#xff08;AI#xff09;基准为模型提供了衡量和比较的路径#xff0c;超越基准#xff0c;达到SOTA#xff0c;经常成为顶会论文的标配。同时#xff0c;有些基准确实推动了AI的发展#xff0c;例如ImageNet 基准测试对… 来源AI科技评论作者:维克多人工智能AI基准为模型提供了衡量和比较的路径超越基准达到SOTA经常成为顶会论文的标配。同时有些基准确实推动了AI的发展例如ImageNet 基准测试对近几年的热潮功不可没。如今ImageNet 基准仍然在研究中发挥核心作用一些新模型例如谷歌的Vision Transformer在论文中仍然与ImageNet方法进行比较。但如果某一基准的分数一直占据榜首后续没有高质量基准引入那么这种依靠基准推动发展的“路子”就有问题。近日维也纳医科大学和牛津大学的研究人员对AI基准图谱进行了调查共统计了2013年以来CV和NLP领域的406项任务的1688项基准。发现很大一部分基准迅速趋于接近饱和还有一部分基准被搁置同时在NLP领域从2020年开始新基准的建立减少方向转向推理或推理相关的高级任务上。在文中作者呼吁未来的工作应该着重于大规模的社区合作以及将基准性能与现实世界效用和影响相联系。133%的AI基准被“搁置”从单个基准出发如上图可以看出基准上的SOTA有三种状态稳定增长停滞或饱和以及停滞后的飞跃。其中稳定增长代表技术稳定停滞背后代表缺乏技术进步的能力而爆发是指技术出现突破。事实上近年来关键领域如NLP有相当一部分新基准迅速趋于饱和或者设计针对特定基准特征过度优化的模型而这些模型往往无法泛化到其他数据中。目前这些现象已经蔓延到相同领域的不同基准中例如上图CIFAR-10和CIFAR-100的状态。同时数量方面也出现了尴尬的局面例如《2021年的人工智能指数报告》指出CV基准数量或许能满足日益增长的任务需求而NLP模型的增长速度正在超过现有的问答和自然语言理解基准。Martínez-Plumed等学者分析了 CIFAR-100 和 SQuAD1.1 等 25 个流行 AI 基准背后“故事”他们发现“SOTA 前沿”由某些长期协作的社区主导例如美国或亚洲大学与科技公司共同合作的组织。此外其他学者分析了大量 AI 基准测试工作中数据集使用和再利用的趋势他们发现很大一部分“知名”数据集是由少数高知名度的组织提出其中一些数据集被越来越多地重新用于新的任务。NLP是个例外它对新的、特定任务的基准的引入和使用超过了平均水平。在这项研究中维也纳医科大学和牛津大学的研究人员表明饱和和搁置非常常见。总体看来有以下几个趋势1.缺乏研究兴趣是导致停滞不前的原因之一2.所有基准中的大多数很快就会达到技术停滞或饱和3.在某些情况下会出现持续增长例如在 ImageNet 基准测试中4.性能改进的动态变化并不遵循一个清晰可辨的模式在某些情况下停滞阶段之后是不可预测的飞跃。图注基准有三种发展趋势稳定增长停滞或饱和以及停滞后的飞跃。此外在1688个基准中只有66%的基准充分被利用换言之33%的基准被搁置。同时基准测试的另一个趋势是被某些既定机构和公司的数据集主导。2NLP基准正面向高难度的任务过去几年CV领域的基准占据主导地位但NLP也开始了蓬勃发展。2020年新基准的数量有所下降越来越多地集中在难度较高的任务上例如测试推理的任务例如BIG-bench和NetHack前者属于谷歌后者来自Facebook。上图是NLP的基准生命周期展示可以清晰看出大多数任务的几个主流基准是在2011~2015年间建立的这期间也只有少数几个SOTA出现。2016年之后新基准的建立速度大大加快在翻译和自然语言建模方面表现最为突出2018和2019年分别都针对各种任务建立了大量的基准2020年是个转折点新基准的建立减少方向转向推理或推理相关的高级任务上。整体来说当前AI基准的趋势是来自既定机构包括工业界的基准的趋势引起了人们对基准的偏见和代表性的关注许多基准并不能完全将AI性能与现实世界相匹配因此开发少量但有质量保证涵盖多种AI能力、场景的基准可能是可取的。最后研究人员展望在未来新的基准应该由来自许多机构、知识领域的大型合作团队开发如此才能确保建立高质量的基准。参考链接https://mixed-news.com/en/are-we-running-out-of-ai-benchmarks/https://arxiv.org/ftp/arxiv/papers/2203/2203.04592.pdf未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
