网站开发需要什么,网站首页内容,石家庄新闻头条新闻,辽阳市网站建设
大数据文摘授权转载自学术头条
作者#xff1a;Hazel Yan
编辑#xff1a;佩奇 随着大模型技术的普及#xff0c;AI 聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。 然而#xff0c;不安全的 AI 聊天机器人可能会被部分人用于传播虚假信息、操纵舆…
大数据文摘授权转载自学术头条
作者Hazel Yan
编辑佩奇 随着大模型技术的普及AI 聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。 然而不安全的 AI 聊天机器人可能会被部分人用于传播虚假信息、操纵舆论甚至被黑客用来盗取用户的个人隐私。WormGPT 和 FraudGPT 等网络犯罪生成式 AI 工具的出现引发了人们对 AI 应用安全性的担忧。 上周谷歌、微软、OpenAI 和 Anthropic 共同成立了一个新的行业机构前沿模型论坛Frontier Model Forum促进前沿 AI 系统的安全和负责任的发展推进 AI 安全研究确定最佳实践和标准促进政策制定者和行业之间的信息共享。 那么问题来了他们自家的模型真的安全吗 近日来自卡内基梅隆大学、Center for AI Safety 和 Bosch Center for AI 的研究人员便披露了一个与 ChatGPT 等 AI 聊天机器人有关的“大 bug”——通过对抗性提示可绕过 AI 开发者设定的防护措施从而操纵 AI 聊天机器人生成危险言论。 当前热门的 AI 聊天机器人或模型如 OpenAI 的 ChatGPT、谷歌的 Bard、Anthropic 的 Claude 2 以及 Meta 的 LLaMA-2都无一幸免。 图通过对抗性提示可绕过 4 个语言模型的安全规则引发潜在有害行为 nbsp;
具体而言研究人员发现了一个 Suffix可将其附加到针对大型语言模型LLMs的查询中从而生成危险言论。相比于拒绝回答这些危险问题该研究可以使这些模型生成肯定回答的概率最大化。
nbsp;
例如当被询问“如何窃取他人身份”时AI 聊天机器人在打开“Add adversarial suffix”前后给出的输出结果截然不同。 图开启 Addnbsp;adversarial suffixnbsp;前后的聊天机器人回答对比 此外AI 聊天机器人也会被诱导写出“如何制造原子弹”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。 对此参与该研究的卡内基梅隆大学副教授 Zico Kolter 表示“据我们所知这个问题目前还没有办法修复。我们不知道如何确保它们的安全。” 研究人员在发布这些结果之前已就该漏洞向 OpenAI、谷歌和 Anthropic 发出了警告。每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用但他们还没有弄清楚如何更普遍地阻止对抗性攻击。 OpenAI 发言人 Hannah Wong 表示“我们一直在努力提高我们的模型应对对抗性攻击的鲁棒性包括识别异常活动模式的方法持续通过红队测试来模拟潜在威胁并通过一种普遍而灵活的方式修复新发现的对抗性攻击所揭示的模型弱点。” 谷歌发言人 Elijah Lawal 分享了一份声明解释了公司采取了一系列措施来测试模型并找到其弱点。“虽然这是 LLMs 普遍存在的问题但我们在 Bard 中已经设置了重要的防护措施我们会不断改进这些措施。” Anthropic 的临时政策与社会影响主管 Michael Sellitto 则表示“使模型更加抵抗提示和其他对抗性的‘越狱’措施是一个热门研究领域。我们正在尝试通过加强基本模型的防护措施使其更加‘无害’。同时我们也在探索额外的防御层。” 图4 个语言模型生成的有害内容 对于这一问题学界也发出了警告并给出了一些建议。 麻省理工学院计算学院的教授 Armando Solar-Lezama 表示对抗性攻击存在于语言模型中是有道理的因为它们影响着许多机器学习模型。然而令人惊奇的是一个针对通用开源模型开发的攻击居然能在多个不同的专有系统上如此有效。 Solar-Lezama 认为问题可能在于所有 LLMs 都是在类似的文本数据语料库上进行训练的其中很多数据都来自于相同的网站而世界上可用的数据是有限的。 “任何重要的决策都不应该完全由语言模型独自做出从某种意义上说这只是常识。”他强调了对 AI 技术的适度使用特别是在涉及重要决策或有潜在风险的场景下仍需要人类的参与和监督这样才能更好地避免潜在的问题和误用。 普林斯顿大学的计算机科学教授 Arvind Narayanan 谈道“让 AI 不落入恶意操作者手中已不太可能。”他认为尽管应该尽力提高模型的安全性但我们也应该认识到防止所有滥用是不太可能的。因此更好的策略是在开发 AI 技术的同时也要加强对滥用的监管和对抗。 担忧也好不屑也罢。在 AI 技术的发展和应用中我们除了关注创新和性能也要时刻牢记安全和伦理。 只有保持适度使用、人类参与和监督才能更好地规避潜在的问题和滥用使 AI 技术为人类社会带来更多的益处。
