个人网站网址,掉发脱发严重是什么原因,怀柔谁会网站开发,网站建设公司新报价文 | severus近日#xff0c;曾开发出举世瞩目的 AlphaGo 的 DeepMind#xff0c;在 ArXiv 上发表了一篇文章#xff0c;名为#xff1a;Meaning without reference in large language models文中提到#xff0c;大参数规模的语言模型是已经具备了部分类人智能的#xff… 文 | severus近日曾开发出举世瞩目的 AlphaGo 的 DeepMind在 ArXiv 上发表了一篇文章名为Meaning without reference in large language models文中提到大参数规模的语言模型是已经具备了部分类人智能的但由于它们仅仅接受了纯文本数据的训练所以其能力也没有得到充分的发挥。文中举出了大量的例子试图证明 LLMs或其他以 transformers 为主要结构的大模型已经具备了和人类表现类似的智能能力。DeepMind 一直是通用人工智能AGI探索路上的先行者今年上半年他们也曾提出了 Gato在604个不同的任务上都取得了不错的表现大有 AGI 模型之势。在笔者看来其至少证明了当模型的容量足够大的时候其的确能够容纳合格地完成不同的窄领域任务所需的知识更像是给我们展现了通用agent的可行性但真的说是智能的话似乎同笔者的认知有所偏差。论文标题Meaning without reference in large language models论文地址https://arxiv.org/abs/2208.02957人的智能表现文章提到人的某些智能表现一定不是从大数据中得到的。例如抽象概念的能力在人的知识体系中存在大量的抽象概念而这些抽象概念几乎不可能从与世界的交互中得来。如正义、法律、才智等并且人可以轻易扩展这类概念。对事物本身的理解可以脱离载体当写有协议的纸张被损坏的时候协议本身依旧是存在的当记录法律的书本被遗失的时候法律本身依旧是生效的。想象能力人能够想象不在眼前的事物也能够想象世界上不存在的东西甚至可以去想象一个架空的世界。逻辑推断能力人可以通过已知概念的组合即可推断出新的概念。如数学证明理论物理学的发展等。文章认为这些能力几乎不可能仅从大数据中得到人也不可能仅仅通过大数据归纳学习就具备了这些能力而文章认为大量的例子表明大模型已经初步具备了上述的能力所以当前大模型的结构已经符合了智能。神农尝百草首先文章中所提到的人的学习能力以及大量的智能表现几乎都是已经成长了若干年的人的表现即人已经经历了超大规模数据的训练同时所提到的示例也几乎是已发展成熟的领域人们已经摸索出了最高效的指导方式比如原文中关于水分子那一段而它没提到的是哪怕有这么成熟的指导体系人想要掌握那些知识也是要不断地试错。想想为了学会四则运算你做了多少道算术题为了考试写对化学反应式你做了多少次训练。而没去考虑想要去对比模型和人的状态应当从完全空白开始。实际上新生儿和模型一样在刚刚来到这个世界的时候学习知识的途径也仅仅有与这个世界的交互即超大数据量的归纳学习。认知心理学实验表明新生儿在刚刚出生的时候会对所有的声音信号有注意力反应而几个月之后会对自己父母的声音有更强的注意力反应。对语言的反应也一样出生几个月之后新生儿会对自己的母语有更高的注意力。同时认知神经科学的实验也表明新生儿在出生的头两年脑内的神经链接是不断地变多的而在接下来的十几年则会不断减少直到达到一个稳定的水平。也就是说新生儿和大模型一样原本也是具有任意泛化的能力如海伦·凯勒自传中她曾描述小时候无法学习到什么是水人类归纳学习得不够也很容易发生“过拟合”一朝被蛇咬处处闻……啊不是十年怕井绳你看。笔者也过拟合了吧[doge]而大量的交互或大数据量的训练实际上是一种剪枝行为。那么所谓概念的学习早期语言的学习也是大量的交互而形成的。比如婴幼儿在见到家里的宠物狗时他的父母叫了宠物狗的名字他就很容易将那个名字和狗这个形象绑定起来而不是直接得到了“狗”这一概念他们也需要见到足够多的狗知道了足够多不同的名字才会将具体的名字和狗分离开。抽象的概念如正义、法律等也是要经过大量的修正之后才形成大家都基本差不多的认知。不然也不必去从小在行为上规范、修正去让一个孩子去遵守公序良俗。哪怕是成年人面对人类知识体系上完全空白的领域时也是通过大量与世界的交互大数据量的总结才形成了一套完整的知识体系。从亚里士多德到伽利略两千年的归纳试错才形成了牛顿第一定律。我们不能够否认人类从零开始形成新的知识体系时哪怕是刚刚接触一个新的电子游戏也往往是从归纳开始的。只不过有一点文章说的是有道理的纯文本的数据的确是不够的。纯文本本身是已经抽象过的东西相比之下人类能够得到的感知信号种类就太多了。若仅仅通过文本数据人类所能习得的概念或许也很有限。我们不能去否认归纳学习在智能产生的过程中起到的巨大作用但显然在对某一领域的认知达到了一定的水平之后人就不仅仅依靠归纳学习去获取新的知识了。我们能够不断地利用已掌握的概念去推演新的概念也逐渐从观测现象总结知识转换到设计实验验证理论这样的学习模式。这种能力即为人的演绎能力。大模型具备了类人智能这篇文章认为大模型一定程度上已经具备了类人的推断能力了。如 DeepMind 发表的另一篇实验报告[1]试图证明大模型已经具备了逻辑推理能力例如在三段论问题上以及华生选择任务上大模型在零样本上都取得了一些分数。华生选择任务是一个典型的逻辑问题例如桌面上有四张卡每张卡的两面各表示了同一个人的动作。现在可见的一面是“借车”、“没借车”、“为车子加油”、“没为车子加油”。你至少要翻开哪些牌才能验证这句论述“如果借了车就要为车子加油”这篇工作笔者也花时间读了一下但是其给出的数据以及模型的表现并不足以证明模型的推理能力原因在于模型正向的表现很像是数据中带有统计显著性的部分即数据的同质部分。当然报告中给出的另外一个实验即把答案给抹掉或者打乱模型的效果骤降似乎也佐证了笔者的观点。另一篇工作[2]想要证明大模型掌握了“颜色”这一概念其列出的证据为大模型对颜色相关词语的表示和直接在视觉信号上学到的颜色表示在几何空间上有高度的相似性。恕我直言这不正是分布式表示的立足点吗我们有大量的自然文本去应用不同的颜色词语其在几何空间上的归纳偏置正应该有这样的表现啊同时文章也认为AlphaFold 能够生成完全没有见过的蛋白质结构也符合了前文对人类想象能力的描述。那我就要说了蛋白质结构形成虽复杂但是以笔者浅薄的生物学知识仍旧认为其问题空间仍旧是极其有限的例如本身分子形成时各类化学键及其表现出的化学性质几乎已经是很明确的规则无论是通过已有大数据归纳还是通过大量交互去强化学习我认为模型是非常能够具备这种能力的这就如同 AlphaGo 可以下出所有棋手都没见过的棋路也可以在围棋规则内下赢高手们一样。在已有明确规则下不断计算、试错最终有类人甚至超越人类的表现这正是计算机的强项但我们也不能将这种机械的运算归为人类的智能。另有一些文章认为在一些问题上fRMI 扫描到人类神经激活的现象和神经网络有相似性则更像是一种预先假定结论而去有目的性的倒推现象且实验中的问题本身也是大量归纳即可学到的笔者认为更不存在什么证明价值。如果大模型真的具备了文章所主张的那种智能那么它应该知道什么是“不合理”以及什么是“不知道”。例如我们如果问一个大模型一个完全不合理的问题比如我的脚有几只眼睛它应该能够分辨出这个问题无法回答但如果小伙伴们感兴趣可以去尝试一下现在已有的大模型看它们会给你什么样的答案。我们当然也可以去训练大模型去回答这种问题但是我们总归是能够从各种刁钻的角度找出来不同的问题去让大模型失败的。原因就在于我们知道什么是“不合理”什么时候是“不知道”。对于广阔的不合理、不知道我们是有明确的认知的但是统计模型是没有这种推断能力的。多说一句如果统计模型真的具备这种能力科学计算也不会使用半逻辑半统计的方式了而我们能够“凭空”拓展我们的理论能够通过一次的修正信号去修改整个行为也正是得益于这种演绎能力。很遗憾的是在初始状态下人类的学习条件似乎还比不上模型但人类获得了这种能力而统计模型没能得到这种能力。或许当我们告诉模型它的行为是错误的时候不够“斩钉截铁”梯度下降只能“逐步”地修正模型的行为但哪怕我们能够去精准更新参数统计模型的推断方式也不允许它去推断“没有”即统计模型仍旧不知道分布外的问题是存在于分布外的毕竟仍旧是连接的。何况统计模型的结构与其训练算法本就是一体的。人类或许有什么机制能够精准更新自己的大脑但现有统计模型框架之下我们并没有办法完成这一点。哪怕我们真的去描述“知识”实际上这也是个几乎不可能的任务也难以将之传授给统计模型毕竟不合理的泛化几乎没有办法去规避掉最终的表现也一定和大数据训练一样数据丰富的地方相对合理一些数据稀疏的地方它就开始胡乱泛化了。人学会进行这么大规模的归纳实际上是低能耗的但是大模型则不然想要训练一个百亿级别参数的模型其耗费的资源是相当巨额的恐怕会超过一个人从出生到成长为领域专家所耗费的所有资源。但是笔者认为这篇文章提到的一些例子倒是还有一些其他的价值比如已被模型抽象过的表示其上层映射起来的确更加简单如颜色的那个例子或许这方面工作的拓展可以对多模态模型提供指导经验例如 Google 今年的 imagen用大规模语言模型训练抽象了语义之后再去指导图片生成就是一篇不错的尝试现有的统计模型及其对应的归纳学习机制的确部分实现了对大部分基本概念的学习尤其是增加了多模感知信号之后那么跳出现有框架探索新的机制或许更加可行总结DeepMind 想干什么笔者认为DeepMind 的科学家们一定比笔者厉害得多它们不可能不知道这篇文章预设的结论有多么不合理找到的证据又有多么无力但是它们为什么要发表呢答案是这篇文章应该不是写给内行看的而是写给外行看的。哪怕行内人对当前人工智能的现状是什么样的认知但是几个简简单单的例子足够震慑到外行人了而相比于从业者其他人显然是更多的那么只要将这些东西放出来就足以吸引很多人的眼球那么这个行业的热度就维持住了。说这么多也只是希望从业者以及想要从业的同学们别也被这篇文章唬住了或者被各路大模型的 PR 唬住了脚踏实地一些或做出真东西或探索新套路。最后类人也不应该是 AI 的目标如果 AI 真的类人了人类又将如何自处人类想要的也无非是更廉价、更专业、工作时间更长且不需要为之安全有多负责的助手而非另一个竞争者。毕竟1数2百年前人类在潘新多大拉陆星球上面对从未见过的人类时都已痛下杀手又怎会允许现在的人们造出一个或许能超越自己的智能呢[doge]以上。萌屋作者SeverusSeverus在某厂工作的老程序员主要从事自然语言理解方向资深死宅日常愤青对个人觉得难以理解的同行工作都采取直接吐槽的态度。笔名取自哈利波特系列的斯内普教授觉得自己也像他那么自闭、刻薄、阴阳怪气也向往他为爱而伟大。作品推荐深度学习路在何方数据还是模型人类知识在深度学习里还有用武之地吗在错误的数据上刷到 SOTA 又有什么意义后台回复关键词【入群】加入卖萌屋NLP、CV、搜广推与求职讨论群[1]. Dasgupta I, Lampinen A K, Chan S C Y, et al. Language models show human-like content effects on reasoning[J]. arXiv preprint arXiv:2207.07051, 2022.[2]. Abdou M, Kulmizev A, Hershcovich D, et al. Can language models encode perceptual structure without grounding? a case study in color[J]. arXiv preprint arXiv:2109.06129, 2021.
