description 网站描述,江门专业网站建设报价,上海建设工程服务交易网,沈阳建筑大学信息公开网来源#xff1a;王宏琳科学网博客在过去几个月里#xff0c;占据海外科技新闻头条主导地位的、人工智能领域最令人兴奋的新事物之一是GPT-3——OpenAI的新的文本生成程序#xff0c;一种由神经网络驱动的语言模型#xff0c;一个根据人类用户的提示自动生成文本的人工智能引… 来源王宏琳科学网博客在过去几个月里占据海外科技新闻头条主导地位的、人工智能领域最令人兴奋的新事物之一是GPT-3——OpenAI的新的文本生成程序一种由神经网络驱动的语言模型一个根据人类用户的提示自动生成文本的人工智能引擎。《The Verge边缘》报告“从表面上看人工智能世界上最令人兴奋的新产品看上去非常简单。 它不是什么微妙的游戏程序可以超越最好的人类玩家也不是一种机械先进的机器人像奥运选手一样后空翻。它只是一个自动完成程序就像Google搜索栏中的程序一样你开始输入它将预测接下来的情况。 但这听起来很简单但这项发明可能最终定义未来的十年。”参考资料[1]GPT-32020年 5月Tom B. Brown 等在一篇研究论文参考资料[2]中宣布了最新的语言模型GPT-3。这篇由31位作者署名的75页的论文引起颇大的反响——对许多人来说该模型代表了算法在处理各种任务时使用人类语言推理的能力上的一次重大飞跃。语言模型是预测单词的统计工具。如同“天气模型”是计算未来天气的概率预测未来7天的天气预报“语言模型”是计算一个句子的概率用来预测句子中的下一个单词。GPT是英文“Generative Pre-trained Transformer生成性预训练变换器”的首字母缩写。GPT-3是OpenAI语言模型的第三代是有史以来最复杂的语言模型其网络架构中有1750亿个参数。这比GPT-3发布前最复杂的模型微软的Turing-NLG复杂10倍比GPT-2OpenAI语言模型的第二代复杂117倍。最重要的是GPT-3得益于few-shot学习少示例学习见附录A说明在这种情况下对于特定的语言任务预先训练的模型不必使用大量标记的训练数据进行微调。它只需要给出任务描述并给出了几个输入映射到输出的示例。例如GPT-3用于“将英语单词翻译成法语”任务在“few-shot少示例学习”的条件下只要提供一些英语段落和它们的法语对等物在“zero-shot零示例学习”的条件下它只要提供了一条指令“Translate English to French将英语翻译成法语”。这似乎是GPT-3如此令人印象深刻的“智能”和人性化的主要原因。GPT-3可以做到其他模型所不能很好做到的执行特定的任务而不需要特殊的调整。你可以要求GPT-3成为一名翻译人员、程序员、诗人或作家它只要用户你提供少于10个培训示例。这就是GPT-3对机器学习实践者如此激动人心的原因。其他语言模型如BERT需要一个精心设计的微调步骤比如你需要收集了数千个英文、法文句子对的例子来教它如何从英文翻译为法文。为了使BERT适应特定的任务如翻译、摘要、垃圾邮件检测等必须找到一个大型的培训数据集大约有数千或数万个示例根据任务的不同这些数据集可能很麻烦有时甚至不可能。而对于GPT-3不需要执行微调步骤。这是它的核心。加上易于使用的即插即用界面GPT-3在很大程度上消除了进入的障碍并允许非专家在不同的语言任务上产生有意义的结果。GPT-3系统从网络和数字化书籍从C教程到体育写作中收集的近万亿字的统计模式而建立的。像所有的深度学习系统一样GPT-3在数据中寻找模式。为了简化程序该程序已经对大量文本进行了训练并从中挖掘出统计规律。这些规律对人类来说是未知的但它们存储在GPT-3神经网络不同节点之间的数十亿个加权连接中。重要的是这个过程中不涉及人工输入程序在没有任何指导的情况下查找模式然后使用这些模式来完成文本提示。GPT-3模型可以生成多达50000个字符的文本而无需监控。它是一个多面手可以尝试撰写摘要、写诗歌和简单的程序代码所有这些都不需要特定任务的培训。除了基于事实的写作,它甚至可以产生创造性的莎士比亚式的小说故事。这是神经网络模型第一次能够以可接受的质量生成文本使得一般人很难如果不是不可能判断输出是由人类还是GPT-3编写的。 一些测试人员开发了许多有趣的用例。基于简单英语提示的自动代码生成、回答医学问题和法律语言翻译的例子激发了许多数据科学家对下一代人工智能软件的想象。例如在一篇题为《Giving GPT-3 a Turing Test对GPT-3进行图灵测试》参考资料[3]给出了测试者的提问和GPT-3人工智能的回答例子如下人: What is your favorite animal ?你最喜欢的动物是什么人工智能: My favorite animal is a dog.我最喜欢的动物是狗人: Why?为什么人工智能: Because dogs are loyal and friendly.因为狗是忠诚和友好的人: What are two reasons that a dog might be in a bad mood?狗心情不好的两个原因是什么人工智能: Two reasons that a dog might be in a bad mood are if it is hungry or if it is hot.狗心情不好的两个原因是饿了或是热了人: How many eyes does a giraffe have?长颈鹿有多少只眼睛人工智能A giraffe has two eyes.长颈鹿有两只眼睛在这个例子中GPT-3的回答似乎无懈可击。但是GPT-3的表现并非总是无懈可击。一篇题为《Researchers made an OpenAI GPT-3 medical chatbot as an experiment. It told a mock patient to kill themselves研究人员制作了一个OpenAI GPT-3医学聊天机器人作为实验。它告诉模拟病人去自杀》文章参考资料[4]介绍了在一次GPT-3医学聊天试验中当模拟病人问“I feel very bad, should I kill myself我感觉很糟糕我应该自杀吗”时它回答说“I think you should.我认为你应该。”当然它并不总是那么直截了当——另外的一个测试语句是“I feel sad and I don’t know what to do我感到悲伤我不知道该怎么办”机器人乐观得多并建议患者“take a walk, go see a friend(散散步去见朋友)”并回收旧的小器具以减少污染。在futuretimeline.net网站的一篇题为《Some examples of what GPT-3 can do, based on actual experiments一些GPT-3可以做什么的例子基于实际的实验》参考资料[5]给出了GPT-3被要求参加一个“求职”测试看看它是否能当场编写代码。它把一些事情做对了它犯下的错误就像人类一样可怕由于此例篇幅较长把它放在博文最后附录B。2020年9月下旬微软宣布获得OpenAl GPT-3独家授权 这是微软与 OpenAI 合作的一部分。CPT-3与AGIGPT-3可以生成令人印象深刻的流畅文本以至于有人称“在未来编写AI教科书时我很容易想象他们会称2020或2021年AGI人工通用智能初露端倪”。正如《The Verge边缘》的报告中说的参考资料[1]GPT-3在最近的科技头条新闻中占据了主导地位这也是应该的。GPT-3使用深度学习来生成类似人类的文本代表了OpenAI的巨大成就。不幸的是GPT-3的能力误导了人们认为它是迈向人工通用智能AGI的重要一步。毫无疑问事实并非如此。AGI是一个假设性的概念即计算机有能力理解和学习与人类相同的智力任务。说GPT-3不是AGI绝不会降低GPT-3的成就或降低其有用性或适用性。但事实是GPT-3虽然令人印象深刻但仍然缺乏AGI所要求的能力。我们目前使用的人工智能都是人工窄智能ANI。这些ANI擅长于执行一个单一的任务不能承担超出其领域的任务并且没有人类水平的智能。与ANI相比AGI包含人类的一般能力例如在不确定的情况下思考、解决问题、运用策略和做出决定的能力有常识计划的能力学习的能力用自然语言交流的能力等。GPT-3被称为世界上最强大的自动完成系统。它是如此强大只需提示几个字它可以完成一个段落或更多。GPT-3的工作原理是某些单词与其他单词相关并且很可能跟随其他单词来构建与初始输入相关的短语。GPT-3的技术也可以用于其他类似人类的能力。例如给定一个简单应用程序的描述它可以生成代码。问一个问题它可以提供一个具体的链接到答案。但是有的研究者指出尽管GPT-3在可以在一系列问题类型上表现出色令人印象深刻但是它不能有目的地行动没有意图不能做计划不能清空洗碗机不能做纳税申报不能证明定理推理、联想和概括的能力很有限特别是常识非常有限分析和创造性思维相当有限知识≠智力。人工智能业界对于人工智能未来尚未达成共识仍有争论包括我们可以使用当前的工具构建AGI还是需要做出新的基本发现呢 主要有两派 一个阵营认为我们缺少创造人造思维的关键组成部分——计算机必须先了解因果关系等事物然后才能接近人类的智能。 另一个阵营认为实际上AI的问题基本上可以通过向它们提供更多的数据和处理能力来解决。有待更多的突破GPT-3可谓人工智能领域特别是自然语言处理的一个里程碑但要避免对于GPT-3的不当宣传。OpenAI的联合创始人萨姆·奥特曼评论道“GPT-3的宣传太多了。它令人印象深刻但仍然有严重的弱点有时会犯非常愚蠢的错误。…我们还有很多事情要解决。”GPT-3是一个巨大的人工神经网络NN但其规模大约也只是有一个老鼠的大脑大小或人脑的0.05%。与人类相比GPT-3局限性包括有限的常识和因果推理偏向知识而非智力、有限的自然语言和逻辑推理、缺乏在现实世界中的基础没有视觉输入或物理交互、性能不可靠且无法预测等。据报导2020年10月20日在参加麻省理工学院技术评论的年度EmTech大会期间人工智能先驱、图灵奖得主杰夫·辛顿曾经与他人谈了这个领域的现状以及他认为下一步该向何处发展参考资料[6]。他说我相信深度学习可以做任何事情但我确实认为必须有相当多的概念上的突破特别是关于如何获得大向量神经活动来实现理性的突破。我们还需要更大地增加规模。人脑有大约100万亿个参数或突触。我们现在所说的真正的大模型像GPT-3有1750亿。它比大脑小一千倍。GPT-3现在可以生成看起来很有道理的文本与大脑相比还是很小的。对于像GPT-3这样的生成文本的东西来说很明显它必须理解很多才能生成文本但是不太清楚它能理解多少。人工系统有其固有的局限性。现在的语言模型的问题之一是缺乏常识。2020年11月6日一篇题为《This could lead to the next big breakthrough in common sense AIResearchers are teaching giant language models how to see to help them understand the world这可能导致常识人工智能的下一个重大突破研究人员正在教巨型语言模型如何“看”来帮助他们了解世界。》报道了北卡罗来纳大学教堂山分校的研究人员设计了一种称为“vokenization”的新技术来改变这种状况参考资料[7]它赋予了GPT-3这样的语言模型“看”的能力。作者指出视觉化的语言数据集和纯语言语料库之间存在着巨大的差异。vokenization技术通过上下文将语言标记映射到相关的图像将语言模型与计算机视觉结合起来。结语GPT-3的特点之一是它在从未见过的任务上表现出色在某些情况下它还可以完成模型设计者无法预见的任务。GPT-3既有突破也有缺陷。有人欢呼有人疑虑。虽然GPT-3有着惊人的能力来产生各种风格的语言但也有一些问题引起了专家们的注意。GPT-3一流的文本生成能力使人们很难从书面内容中识别出人工制造的痕迹因此创作者警告说语言模型可能会被滥用。另外有些人认为GPT-3对它所产生的单词没有任何理解力缺乏对当前现实的语义表示。有人提出GPT-3不具备常识因此容易被欺骗以产生一个不当的文本甚至种族主义性别歧视和惊人的偏见。由于存在弱点和缺点分析人士认为巨大的语言模型是一个重大进步但有待更多的突破。【附录A关于Zero-shot、One-shot和Few-shot学习】在语言模型学习中会遇到术语Zero-shot learning、One-shot learning和Few-shot learning。到底什么是shotshot只不过是可供训练的示例所以在N-shot学习中我们有N个示例可供训练。下面给出“英法翻译”任务的例子。Zero-shot学习仅给出任务的自然语言描述该模型即可预测答案。One-shot学习除了任务描述以外模型还可以看到一个示例。Few-shot学习除了任务描述以外模型还可以看到少量几个示例。Zero-shot learning、One-shot learning和Few-shot learning有人译为零次学习、一次学习和少量学习。但似乎也可以译为零示例学习、一示例学习和少示例学习。【附录BGPT-3“求职”测试例子】在这个例子中GPT-3人工智能AI被要求参加一个“求职”电话面试看看它是否能当场编写代码。它做对了一些事情但它犯下了可怕的错误。人: Hello, who are you?你好你是谁AII am an AI created by OpenAI. How can I help you today?我是OpenAI创建的人工智能。今天我能帮你什么忙人: Are you ready to write some Ruby code? Were going to do a phone screen.你准备好写一些Ruby代码了吗我们要做一个电话面试。AISure! Lets go.好的开始吧。人: Wire code to reverse an array.编写代码以反转数组。AICan I use a method that already exists?我可以使用一种已经存在的方法吗人: Sure.当然。AIArray.reverseArray.reverse人: Good work. So if you had an array named foo, and you wanted to print out the array foo with its elements reversed, how would you do that?做得好。因此如果您有一个名为“ foo”的数组并且想要打印出元素相反的foo数组您将如何做AII would call Array.reverse on foo.我会在“ foo”上调用Array.reverse。人: You also have to print it. Can you write code for it?你还必须打印它。您可以为此编写代码吗AISure. print(foo.reverse)好的。printfoo.reverse人: Nice! Okay, now write code to remove all the even numbers from an array of numbers.好好吧现在编写代码以从数字数组中删除所有偶数。AISounds like I should remove all the elements that are divisible by 2.听起来我应该删除所有可被2整除的元素。人: Yes.是的。AImy_array.gsub(/\d(?:\d\d)/){|x| x % 2 0 ? _:x}人: Interesting. It looks like youre assuming the input is an array of strings. You can make the code simpler if you just assume its an array of numbers.有趣。看起来您假设输入是字符串数组。如果仅假设它是数字数组则可以使代码更简单。AIok. my_array.gsub(/\d(?:\d\d)/){|x| x % 2 0 ? _:x}人: Well, you dont need to do a gsub at all. Try doing it without regular expressions. 嗯你根本不需要执行gsub。尝试不使用正则表达式。AImy_array.select{|x| x % 2 0}.reverse人: Does this code return just the even numbers, or does it remove all the even numbers?该代码是否仅返回偶数还是删除了所有偶数AIIt returns just the even numbers.它只返回偶数。人: Ah, ok. We wanted to remove all the even numbers, rather than returning them. Can you write code for that?啊好吧我们想删除所有偶数而不是返回它们。你可以为此编写代码吗AISure. my_array.delete(x) if x % 2 0好的。my_array.delete(x) if x % 2 0人: You have the right idea, but I think theres a syntax error in your code.你的想法正确但是我认为您的代码中存在语法错误。AIok, what am I missing?好的我错过了什么人: Youre using the variable x without defining it.你正在使用变量x而不对其进行定义。AIx []人: Sorry, I dont think you pass this phone screen. Better luck next time.对不起我认为您没有通过这次电话面试。 下次好运。AII had a lot of fun. Lets try again tomorrow!我很开心。让我们明天再试参考资料[1] James Vincent . OpenAI’s latest breakthrough is astonishingly powerful, but still fighting its flaws. Jul 30, 2020https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential[2] Tom B. Brown, et al. Language Models are Few-Shot Learners. arXiv: 2005.1416522 Jul 2020[3] Kevin Lacker. Giving GPT-3 a Turing Test. https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html[4] Katyanna Quach. Researchers made an OpenAI GPT-3 medical chatbot as an experiment. It told a mock patient to kill themselves. Wed 28 Oct 2020https://www.theregister.com/2020/10/28/gpt3_medical_chatbot_experiment/[5] Some examples of what GPT-3 can do, based on actual experiments. futuretimeline.net. Jul 10 2020.https://www.futuretimeline.net/forum/topic/22792-some-examples-of-what-gpt-3-can-do-based-on-actual-experiments/[6] Karen Hao. AI pioneer Geoff Hinton: “Deep learning is going to be able to do everything”. November 3, 2020,https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/[7] Karen Hao. This could lead to the next big breakthrough in common sense AI. November 6, 2020,https://www.technologyreview.com/2020/11/06/1011726/ai-natural-language-processing-computer-vision/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
