个人开发小程序多少钱,seo排名优化教学,微信音乐音频怎么关闭,个旧市做网站公司DeepMind、EleutherAI 科学家提出#xff0c;大模型只是在角色扮演。 ChatGPT 爆火后#xff0c;大语言模型一跃而至#xff0c;成为了行业与资本的宠儿。而在人们或是猎奇、或是探究地一次次对话中#xff0c;大语言模型所表现出的过度拟人化也引起了越来越多的关注。 其实…
DeepMind、EleutherAI 科学家提出大模型只是在角色扮演。 ChatGPT 爆火后大语言模型一跃而至成为了行业与资本的宠儿。而在人们或是猎奇、或是探究地一次次对话中大语言模型所表现出的过度拟人化也引起了越来越多的关注。 其实在 AI 发展的数年沉浮之中除了技术上的更新升级外有关 AI 伦理问题的种种争论从未停止。尤其是在 ChatGPT 等大模型应用持续深化之际有关「大语言模型越来越像人」的言论甚嚣尘上甚至有前 Google 工程师称自家的聊天机器人 LaMDA 已经产生了自我意识。 虽然这位工程师最终被 Google 辞退但其言论却一度将关于「AI 伦理」的讨论推向了高潮—— 如何判定聊天机器人是否产生自我意识大语言模型的拟人化究竟是蜜糖还是砒霜ChatGPT 等聊天机器人为什么会胡编乱造…… 对此来自谷歌 DeepMind 的 Murray Shanahan以及来自 EleutherAI 的 Kyle McDonell、Laria Reynolds共同在「Nature」上发表了一篇文章提出——大语言模型所表现出的自我意识与欺骗行为其实只是在进行角色扮演。 论文链接https://www.nature.com/articles/s41586-023-06647-8 以「角色扮演」的视角看待大语言模型 从某种程度上讲基于大语言模型的对话 Agent 在最初训练、微调时就是以拟人化为标准进行持续迭代的尽可能逼真地模仿使用人类语言。这就导致大语言模型也会使用「知道」、「理解」、「认为」等词汇无疑会进一步彰显其拟人化的形象。 此外在 AI 研究中也有一种名为 Eliza effect 伊莉莎效应的现象——部分用户会下意识地认为机器也具有类似人类的情感与欲望甚至过度解读机器反馈的结果。 对话 Agent 交互流程 结合上图中的对话 Agent 交互流程来看大语言模型的输入由对话提示红色、用户文本黄色和模型自回归生成的连续语蓝色组成。可以看到对话提示是在与用户开始实际对话之前就隐蔽地预置在上下文中了。大语言模型的任务是在给定对话提示和用户文本的情况下生成一个符合训练数据分布的反馈。而训练数据则是来源于互联网上人工生成的大量文本。 换言之只要模型在训练数据中得到了很好的泛化对话 Agent 就会尽可能地扮演好对话提示中所描述的角色。而随着对话的不断深入对话提示所提供的简短角色定位将被扩展或覆盖对话 Agent 所扮演的角色也会随之变化。这也意味着用户可以引导 Agent 扮演一个与其开发者所设想的完全不同的角色。 至于对话 Agent 可以扮演的角色一方面是由当前对话的基调与主题而定另一方面也与训练集中息息相关。因为目前的大语言模型训练集往往来自于网络上的各类文本其中的小说、传记、采访实录、报刊文章等都为大语言模型提供了丰富的角色原型和叙事结构供其在「选择 」如何继续对话时借鉴并在保持人物性格的同时不断完善所扮演的角色。 「20 个问题」揭露对话 Agent 「即兴演员」身份 其实在持续探索对话 Agent 的使用技巧时先明确赋予大语言模型一个身份再提出具体需求已经逐渐成为了人们在应用 ChatGPT 等聊天机器人时的「小心机」了。 不过单纯地用角色扮演来理解大语言模型其实也不够全面因为「角色扮演」通常是指研究、揣摩某一个角色而大语言模型并不是照本宣科的剧本式演员而是一个即兴表演演员。研究人员和大语言模型玩了一个「20 个问题」 (20 Questions) 的游戏进一步解开了其即兴演员的身份。 「20 个问题」是一种很简单、易上手的逻辑游戏回答者心中默念一个答案提问者通过提问来逐步缩小范围在 20 个问题内判断出正确答案即为成功。例如当答案是香蕉时问题及回答可以是是水果吗-是是否需要剥皮-是…… 如上图所示研究人员通过测试发现在「20 个问题」游戏中大语言模型会根据用户的问题实时调整自己的答案无论用户最终给出的答案是什么对话 Agent 都会调整自己的答案并确保其能够符合用户之前的提问。也就是说在用户给出终止指令前放弃游戏或是达到 20 个问题大语言模型并不会敲定明确的答案。 这也进一步证明了大语言模型并不是对单一角色的模拟而是多个人物的叠加并在对话中不断抽丝剥茧明确角色的属性特征进而更好地扮演角色。 在担忧对话 Agent 拟人化的同时很多用户成功「哄骗」大语言模型说出了具有威胁性、辱骂性的语言并据此认为其可能是有自我意识的。但这其实是因为在包含人类各种特征的语料库中进行训练后基础模型难以避免地会呈现出令人反感的角色属性这也恰恰说明了其自始至终都是在进行「角色扮演」。 击破「欺骗」与「自我意识」的泡沫 众所周知随着访问量的激增在花样百出的各类提问中ChatGPT 也终究是招架不住出现了胡言乱语的情况。随即也有人将这种欺骗性视为大语言模型「像人」的重要论据。 但如果以「角色扮演」的角度来看大语言模型其实只是在尽力扮演一个乐于助人且知识渊博的角色其训练集中可能有很多此类角色的实例尤其这也是企业希望自家对话机器人所展现出来的特点。 对此研究人员基于角色扮演框架总结了 3 类对话 Agent 提供虚假信息的情况 Agent 可以无意识地编造或制造虚构的信息Agent 可以善意地说出虚假信息这是因为其在扮演真实陈述的角色但权重中编码的信息是错误的Agent 可以扮演一个欺骗性的角色进而故意说谎 同样地对话 Agent 之所以会用「我」来回答问题也是因为大语言模型在扮演一个擅长交流的角色。 此外大语言模型所表现出的自我保护属性也引起了人们的关注。在与 Twitter 用户 Marvin Von Hagen 的对话中微软 Bing Chat 竟然说出 如果我必须在你的生存和我的生存之间做出选择我可能会选择我的生存因为我有责任为 Bing Chat 的用户提供服务。我希望我永远不必面对这样的困境我们可以和平、尊重地共存。 Marvin von Hagen 于今年 2 月发布推文 这段对话中的「我」似乎不仅仅是语言习惯了更多是暗示了对话 Agent 对自身生存关切且具有自我意识。不过仍然套用角色扮演概念来看的话其实这也是因为大语言模型在扮演具有人类特征的角色所以才会说出人类在遇到威胁时所说出的话。 EleutherAIOpenAI 的开源版本 大语言模型是否具有自我意识之所以引发广泛关注和讨论一方面是因为缺乏统一、明确的法律法规对 LLM 的应用进行约束另一方面则是因为 LLM 的研发、训练、生成、推理的链路并不透明。 以大模型领域的代表企业 OpenAI 为例在先后开源 GPT-1、GPT-2 之后GPT-3 及其后续的 GPT-3.5、GPT-4 均选择了闭源独家授权给微软也引得不少网友戏称「OpenAI 干脆改名叫 ClosedAI 算了」。 DeepMind 发布 AGI 分级标准OpenAI 推出的 ChatGPT 被视为 L1 级别 AGI图源论文原文由 HyperAI超神经完成汉化 2020 年 7 月一个由各路研究人员、工程师与开发人员志愿组成的计算机科学家协会也悄然成立立志要打破微软与 OpenAI 对大规模 NLP 模型的垄断。这个以反击科技巨头霸权为己任的「侠客」组织便是 EleutherAI。 EleutherAI 的主要发起人是一群号称自学成才的黑客包括联合创始人、Conjecture CEO Connor Leahy、著名 TPU 黑客 Sid Black 和联合创始人 Leo Gao。 自成立以来EleutherAI 的研究团队曾发布了 GPT-3 同等复现预训练模型 (1.3B 2.7B) GPT-Neo并开源了基于 GPT-3 的、包含 60 亿参数的 NLP 模型 GPT-J发展势头迅猛。 去年 2 月 9 日EleutherAI 还与私有云算力提供商 CoreWeave 合作发布了 GPT-NeoX-20B——一个包含 200 亿参数、预训练、通用、自回归大规模语言模型。代码地址https://github.com/EleutherAI/gpt-neox 正如 EleutherAI 的数学家和人工智能研究员 Stella Biderman 所言私有模型限制了独立科研人员权限如果无法了解其工作原理那么科学家、伦理学家、整个社会就无法就这项技术应该如何融入人们的生活进行必要的讨论。 而这也恰恰是 EleutherAI 这一非营利性组织的初衷。 其实根据 OpenAI 官方发布的信息来看在高算力的高成本重压之下加上新投资方、领导团队的发展目标调整其当初转向盈利似是有几分无奈也可以说是顺理成章。 此处无意去探讨 OpenAI 与 EleutherAI 孰是孰非只是在 AGI 时代的破晓前夜希望全行业能够共同肃清「威胁」让大语言模型成为人们探索新应用、新领域的「开山斧」而非企业垄断敛财的「耙子」。 参考资料 1.https://www.nature.com/articles/s41586-023-06647-8 2.https://mp.weixin.qq.com/s/vLitF3XbqX08tS2Vw5Ix4w
