网站后期的维护和更新,开发公司和施工单位电费的处理,wordpress微信公众号采集,商务网站设计方案虽然RAG提供了一种方式来给大型语言模型提供额外的信息#xff0c;但还有另一种叫做微调#xff08;fine-tuning#xff09;的技术#xff0c;也是给它更多信息的一种方式。特别是#xff0c;如果你有的上下文比大型语言模型的输入长度或上下文窗口长度更大#xff0c;那… 虽然RAG提供了一种方式来给大型语言模型提供额外的信息但还有另一种叫做微调fine-tuning的技术也是给它更多信息的一种方式。特别是如果你有的上下文比大型语言模型的输入长度或上下文窗口长度更大那么微调提供了另一种方式让大型语言模型吸收这些信息。微调也被证明对于使大型语言模型以特定的风格输出文本非常有用。但这种实际实现比RAG难一些。
我们来看看。假设你有一个像之前描述的那样从互联网上找到的句子比如我最喜欢的食物是奶油奶酪百吉饼这样的句子来训练的大型语言模型。那么它可能已经从数千亿个单词中学习甚至可能超过一万亿个单词来预测下一个单词。这样的大型语言模型将学会生成听起来像互联网上的文本。这个过程通常被称为预训练。
现在假设我想修改大型语言模型使其对所有事情都持绝对积极和乐观的态度。有一种叫做微调的技术我们可以用它让大型语言模型进行更多学习以改变其输出例如在这个例子中变得更加积极和乐观。要微调大型语言模型我们需要提供一系列具有积极乐观态度的句子或文本例如“这个巧克力蛋糕真棒”或“这本小说真令人兴奋”。给定这样的文本你可以创建额外的数据集使用这个巧克力蛋糕真棒你将给出what接下来的单词它会尝试预测a“what a”接下来的单词是wonderful“what a wonderful chocolate”依此类推。
事实证明如果你拿一个已经在数千亿个单词上预训练的大型语言模型并在额外的比如说1万个单词或更多的相对较小的数据集上进行微调可能是10万个单词如果你有更多的数据甚至100万个单词如果你有更多的数据微调这个相对较小的数据集可以改变大型语言模型的输出使之具有积极、乐观的态度。现在或许让大型语言模型持有绝对积极的态度并不是一个有用的应用但微调在许多真实应用中被使用。
微调在一类应用中非常有用那就是当任务不容易用prompt提示定义时。例如如果你想用大型语言模型来总结客户服务电话一个通用的大型语言模型可能会看一个电话记录并将其总结为“客户告诉代理关于显示器的问题”。 但如果你经营一个客户呼叫中心你可能希望它生成关于对话内容的具体信息。比如MK401-27KX由客户5402报告损坏等等。如果你创建了一个可能只有几百个人工专家编写的总结的数据集并让一个已经从互联网上数千亿个单词中学到了很多通用知识的大型语言模型进行额外的微调。但如果你额外地对它进行微调使用像“这个巧克力蛋糕真棒”这样的句子或者有特定风格的文本那么就会改变大型语言模型的写作能力使其符合你想要的风格。这种特定风格的总结实际上不容易在文本提示中定义。也许你可以做到但微调将是一种非常精确的方式来告诉大型语言模型你想要什么样的总结。 当任务不容易在提示中定义时另一个例子是模仿特定的写作或说话风格。所以和我一起工作的Tommy Nelson实际上只是为了好玩试图让一个大型语言模型听起来像我但事实证明大多数人的说话方式并不容易在提示中描述。你如何给别人清晰的指示来模仿我所以如果你提示一个通用的大型语言模型并要求它听起来像我你会得到这样的文本我认为它并不太像我。但如果你拿走我实际谈话的很多转录并让一个大型语言模型被微调来真正地听起来像我通过学习我实际的话语那么让它写一些听起来像我的东西会得到这样的文本这听起来更像是我会说的。但因为模仿特定人的写作或说话风格很难通过提示来完成因为很难通过写作文本指令来描述特定人的风格微调变成了一种更有效的方式来让大型语言模型以特定风格说话。如果你正在构建一个人工角色比如卡通人物微调也可以是让大型语言模型以特定风格说话的一种方式。 除了容易定义的提示之外微调的第二大类应用是帮助大型语言模型获得某一领域的知识。例如如果你想让一个大型语言模型能够阅读和处理医疗记录这就是医生写给病人的医疗记录可能看起来的样子。这真的不是正常的英语。Pt是患者c/o是抱怨SOB是呼吸急促DOE是活动时呼吸困难PE是体格检查的结果等等。治疗是随访主治医师STAT胸部X光根据需要在氧气上进行治疗。但这真的不是正常的英语如果你拿一个在正常英语上训练的大型语言模型它不会很擅长处理这样的文本。如果你对一个大型语言模型进行医疗记录的微调那么它就会更好地吸收有关医疗记录听起来的知识。然后你可以在其上构建其他应用程序以更好地理解医疗记录或法律文件。
这里是律师为律师写的法律文件非律师很难阅读。许可方根据第2(a)(iii)条给予被许可方非专有权利等等15天内。我不知道你怎么想。我在我的日常生活中不使用hereof这个词。但这就是法律文件听起来的样子。如果你想让你的大型语言模型获得有关如何阅读和理解法律文件的知识那么将大型语言模型LLM微调至法律文件将有助于其获得这方面的知识。
同样对财务文件也是如此。将大型语言模型微调到一大套财务文件上将有助于它更好地掌握财务知识并提高涉及处理这类文件的应用的性能。
最后微调大型语言模型的另一个原因是让更小的模型执行可能之前需要更大模型的任务。我们将在本周晚些时候讨论选择更大模型与更小模型的优缺点。但对于一些需要大量知识或复杂推理的大型语言模型应用你可能会使用一个相对较大的模型比如拥有超过1000亿参数的模型。但如果使用这样的模型可能会有相对较高的延迟。这意味着在你发出提示后你可能需要等待一段时间才能得到回应。
如果你要在自己的电脑上部署这种模型可能会相当昂贵。即使我们在之前的视频中说过这些模型并不那么昂贵也许你希望它更便宜。这是因为一个1000亿参数的模型可能需要特殊的计算机如GPU服务器或其他非常快的计算机来运行。你可能很难在普通的笔记本电脑或PC上运行这样大的模型更不用说在智能手机上了。
但如果你能让你的应用程序在一个更小的模型上运行比如说10亿参数的模型那么这个模型大小的范围就会更容易在笔记本电脑、PC或手机上运行。例如如果你想要的是将餐厅评论分类为正面或负面情感这是一个足够简单的任务你可能不需要一个100或2000亿参数的模型来运行。但也许一个10亿参数的模型就足够好了甚至可能更小。
但这些较小的模型并不像真正大的模型那么聪明或优秀。这就是为什么如果你拿一个小模型然后对它进行微调就像这里展示的数据集那样不仅仅是三个例子而是也许几百个或者如果你有那么多数据的话甚至1000个例子那么你就可以让一个小模型比如说10亿参数的模型在这样的任务上表现得非常好。
总而言之微调为你提供了除了RAG之外的另一种技术来帮助提高大型语言模型的能力。你可能会用它来处理难以在提示中明确指定的任务。比如如果你想要
输出某种风格的文本希望大型语言模型获得某种知识如关于医疗记录的知识想要获得一个更小、更便宜的大型语言模型来执行可能原本需要更大型大型语言模型的任务。
事实证明RAG和微调都相对便宜易实施。RAG只是你提示的修改微调你可能可以以几十美元甚至几百美元开始这取决于你想要微调的数据量。还有一种技术自己训练自己的模型目前来说非常昂贵几乎没有人尝试这样做通常是相对较大的公司为了完整性我们来看下一个视频了解预训练的内容。
参考
https://www.coursera.org/learn/generative-ai-for-everyone/lecture/EIX6K/fine-tuning
