网站被同行链接代替,网站推广及建设ppt,莱芜新闻民生广角,做修图网站电脑配置作者#xff1a;Kevin Vu译者#xff1a;Sambodhi策划#xff1a;刘燕由于在训练过程中使用的数据集的多样性#xff0c;我们可以为来自不同领域的文本获得足够的文本生成。GPT-2 的参数和数据是其前代 GPT 的 10 倍。而 GPT-3 又是 GPT-2 的 10 倍。那么问题来了#xff… 作者Kevin Vu译者Sambodhi策划刘燕由于在训练过程中使用的数据集的多样性我们可以为来自不同领域的文本获得足够的文本生成。GPT-2 的参数和数据是其前代 GPT 的 10 倍。而 GPT-3 又是 GPT-2 的 10 倍。那么问题来了应该选择那个 Transformer 呢我应该选哪个 TransformerGPT-2 还是 GPT-3生成式预训练 TransformerGPT是 OpenAI 开发在自然语言处理NLP领域的创新之举。这些模型被认为是同类模型中最先进的甚至在坏人手中也可能是很危险的。它是一种无监督的生成模型也就是说它接收句子等输入信息并尝试生成一个适当的响应而用于其训练的数据是不带标签的。GPT-2 是什么GPT-2 是 OpenAI 在 2019 年 2 月创建的一种基于 Transformer 的无监督深度学习语言模型其目的只有一个就是预测句子中的下一个单词。GPT-2 是“Generative Pretrained Transformer 2”的缩写。该模型是开源的在超过 15 亿个参数上进行训练以便为给定句子生成下一个文本序列。由于在训练过程中所用数据集的多样性我们能够获取足够的来自不同领域的文本生成。而 GPT-2 的参数和数据是其前代 GPT 的 10 倍。语言任务如阅读、摘要和翻译可以通过 GPT-2 学习原始文本而不需要使用特定领域的训练数据。自然语言处理的一些局限性当处理自然语言生成时必须考虑到某些局限性。它是一个非常活跃的研究领域但它还处于起步阶段还不能克服它的局限性。限制条件包括重复的文本对技术性和专业性很强的主题的误解以及对上下文短语的误解。语言和语言学是一个复杂而庞大的领域通常需要人们经过多年的训练和接触不仅包括理解词语的含义而且还包括上下文如何构成句子、如何给出答案以及使用恰当的俚语。它还可以为不同的领域创建自定义和可扩展的模型。OpenAI 提供的一个例子就是使用 Amazon Reviews 数据集来训练 GPT-2并教授模型如何根据星级和类别等为条件编写评论。GPT-3 是什么简而言之GPT-3 就是“生成式预训练 Transformer”它是 GPT-2 的第 3 个发行版也是一个升级版。第 3 版将 GPT 模型提升到了一个全新的高度因为它的训练参数达到了 1750 亿个这是前代 GPT-2 的 10 倍以上。GPT-3 是在一个名为“Common Crawl”的开源数据集上进行训练的还有来自 OpenAI 的其他文本如维基百科Wikipedia条目。GPT-3 的创建是为了比 GPT-2 更强大因为它能够处理更多的特定主题。GPT-2 在接受音乐和讲故事等专业领域的任务时表现不佳这是众所周知的。现在GPT-3 可以更进一步地完成诸如答题、写论文、文本摘要、语言翻译和生成计算机代码等任务。它能够生成计算机代码本身就已经是一个重大的壮举了。你可以 在这里查看一些 GPT-3 的例子。长期以来很多程序员都在担心被人工智能所取代而现在看来这一担心正在成为现实。随着 Deepfake 视频的普及由人工智能驱动的语音和文字也开始模仿人类。不久当你打电话或在网上交流时例如聊天应用可能很难判断你是在和真人交谈还是与人工智能交谈。GPT-3 可称为序列文本预测模型虽然它仍然是一种语言预测模型但更精确的描述可能是一种序列文本预测模型。GPT-3 的算法结构已被认为是同类模型中最先进的因为它使用了大量的预训练数据。GPT-3 通过语义学的方法理解语言的含义并尝试输出一个有意义的句子给用户从而在接受输入后生成句子。因为不使用标签化的数据模型就不会知道什么是对的什么是错的这是一种无监督学习。因为这些模型可以自动完成许多基于语言的任务所以当用户使用聊天机器人与公司进行通信时它们就变得越来越知名和流行。GPT-3 目前处于私有 beta 测试阶段这意味着如果用户想要使用这个模型他们必须登录到等待列表中。它作为通过云访问的 API 提供。现在看来这些模型只适用于那些拥有 GPT 模型资源的个人 / 企业。当我们给出 “I want to go output to play so I went to the____”的句子时可以看到这种模式在发挥作用的一个例子。在这个例子中一个好的响应可以是诸如 park 或 playground 之类的而不是诸如 car wash 之类的。因此在提示文本的条件下park 或 playground 的概率高于 car wash 的概率。当模型被训练时它被输入数百万个样本文本选项并将其转换为数字向量表示。这是一种数据压缩的形式模型用它把文本转换成有效的句子。压缩和解压的过程可以提高模型计算词的条件概率的准确性。它开启了一个充满可能性的全新世界但也有其局限性。GPT-2 和 GPT-3 的一些局限性尽管生成式预训练 Transformer 在人工智能竞赛中是一个伟大的里程碑但是它没有能力处理复杂和冗长的语言形式。举例来说如果你想像一个句子或一段包含文学、金融或医学等专业领域的词汇如果事先没有进行足够的训练模型就不能做出恰当的反应。鉴于计算资源和功耗的巨大需求在当前情况下这并非一种可行的大众解决方案。数十亿的参数需要大量计算资源才能运行和训练。那又是一个黑盒模式。在一个业务环境中用户最需要的是理解下面的过程。目前 GPT-3 仍不能向公众开放因为只有少数人可以独占。潜在的使用者必须登记他们的兴趣并等待邀请这样才能亲自测试模型。这么做是为了防止滥用如此强大的模型。一种可以复制人类语言模式的算法对于整个社会来说有很多道德意义。GPT-3 优于 GPT-2由于 GPT-3 更强的性能和明显更多的参数它包含了更多的主题文本显然比它的前代要好。这一模型非常先进即便存在局限性 OpenAI 仍然决定保持其安全性并仅发布给提交推理使用这一模式的选定个人。最后他们可能会考虑将其作为 API 发布这样就可以控制请求并最小化对模型的滥用。另外需要注意的是微软在 2020 年 9 月宣布了 GPT-3 的“独家”使用许可其他人仍然可以使用公共 API 来接收输出但只有微软自己拥有源代码的控制权。由于这个原因EleutherAI 一直在研究它自己的基于 Transformer 的语言模型这种模型是根据 GPT 架构松散地设计的。他们的目标之一是使用自己的 GPT-Neo 来复制一个 GPT-3 规模的模型并将其免费开源给公众。你可以 在这里查看 GitHub repo 上的 GPT-Neo 进展。人工智能在对语言生成领域造成致命一击之前还有很长的路要走因为这些模型还不能完善人类语言的细微差别。需要学习处理的任务的精确度和类型仍比当前的能力要高。但是新的 GPT 模型的快速发展使得下一个重大突破可能就在眼前。 作者介绍Kevin Vu管理 Exxact Corp 博客并与许多有才华的写手合作他们都撰写深度学习的不同方面。原文链接https://www.exxactcorp.com/blog/Deep-Learning/gpt2-vs-gpt3-the-openai-showdown未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
