阜宁县城乡建设局新的官方网站,自己网站怎么建设,手机电子商务网站建设,学校做网站的软件编者按#xff1a;如今#xff0c;机器学习已成为人类未来发展的焦点领域#xff0c;如何进一步拓展机器学习技术和理论的边界#xff0c;是一个极富挑战性的重要话题。7月23日至29日#xff0c;第四十届国际机器学习大会 ICML 2023 在美国夏威夷举行。该大会是由国际机器…编者按如今机器学习已成为人类未来发展的焦点领域如何进一步拓展机器学习技术和理论的边界是一个极富挑战性的重要话题。7月23日至29日第四十届国际机器学习大会 ICML 2023 在美国夏威夷举行。该大会是由国际机器学习学会IMLS主办的年度机器学习国际顶级学术会议旨在推动机器学习领域的学术进步。在 ICML 2023 上微软亚洲研究院的研究员们有多篇论文入选今天我们将为大家简要介绍其中的5篇。
回路神经网络一种实现多种神经回路模式的通用神经网络 论文链接https://openreview.net/pdf?idFl9q5z40e3
近年来人工神经网络Artificial Neural Network, ANN在多个领域取得了巨大的成功这在一定程度上归功于其对人脑结构的模仿。然而最近的神经科学进展揭示神经元之间实际上是通过多种多样的连接模式相互交互来处理信息的这些连接模式有时也被称作回路模式Circuit Motifs。但许多现有的人工神经网络只能在其架构中模拟一种或两种回路模式。例如前馈神经网络很好地模拟了前馈回路模式循环神经网络模拟了神经元相互连接成环的模式。这种对于不同结构的模拟差异导致了它们在不同类型的机器学习任务中会存在性能差异。 图1神经元之间的不同回路模式绿色的神经元通过黄色神经元传入的信号更新自身的状态。从左往右四种模式分别是前馈模式环路模式反馈模式和横向模式
在这篇论文中研究员们提出了一种新型的神经网络——回路神经网络CircuitNet其灵感来源于对大脑神经回路结构的模拟。在 CircuitNet 中一组密集连接的神经元——回路模式单元CMU形成了网络的基本单元。研究员们在 CMU 中引入神经元之间的注意力机制或者高次次项再调整 CMU 内部的权重这些基础单元就能够模拟更加通用的回路模式。与传统的前馈网络相比CircuitNet 具有模拟更多类型神经元连接的能力如反馈和横向模式。 图2CircuitNet 的模型结构。作为一个通用的神经网络CircuitNet 可以根据输入的形式用在各种各样的下游任务中左。CircuitNet 由一些 CMU 通过相互间的稀疏连接构成 中。在单个 CMU 中神经元间以复杂的形式稠密连接在一起从而建模通用的回路模式例如绿色的线连接了两个神经元可以用来表示线性变换而红线可以表示更高级的涉及三个神经元的变换如神经元间的注意力机制右
另外受到人脑局部密集和全局稀疏结构的启发不同 CMU 之间通过输入端口和输出端口的稀疏连接实现了多次信号传递。
实验证明CircuitNet 在函数逼近、强化学习、图像分类和时间序列预测等任务中均优于流行的神经网络架构。CircuitNet 不仅提供了更好的性能和灵活性还为解决复杂的机器学习任务和认知模型奠定了坚实的基础。
带概率激发臂的上下文组合多臂老虎机问题 论文链接https://arxiv.org/abs/2303.17110
将传统的组合优化和在线学习相结合的组合多臂老虎机combinatorial multi-armed bandit是通过在线反馈机制来不断改进模型优化效果的。本文提出了一种新的上下文组合多臂老虎机模型 C^2MAB-T它结合了上下文信息和概率激活模型并基于简单而有效的线性结构假设实现了更好的可扩展性。该模型适用于大规模推荐系统、在线广告、社交网络、无线网络等多个领域。
针对 C^2MAB-T研究员们在多种光滑条件下设计了相应的算法并进行了理论分析。在概率激活调节TPM条件下研究员们提出了 C^2-UCB-T 算法消除了潜在的指数级大因子 1/p 对算法性能的影响其中p表示的是任何臂被触发的最小正概率。在概率激活方差调节TPVM条件下研究员们进一步提出了 VAC^2-UCB 算法实现了每个时刻激活的臂数K对算法性能影响的更好控制使其从 O(K) 降低为 O(log K)。需要注意的是文中的分析技术和方差自适应算法也同样适用于 CMAB-T 和 C^2MAB并且改进了现有算法的结果。
C^2MAB-T 模型通过仿真实验在推荐系统场景中验证了算法的性能。相较于两组现有算法C^2MAB-T 的算法分别获得了25%和45%的性能提升。 图3基于 MovieLens-1M 数据集的实验表明VAC^2-UCB蓝色在性能上超过了 C^3-UCB [Li et al., ICML16]红色和另一个方差感知算法 CascadeWOFUL [Vial et al., NeurIPS22绿色]分别减少了45%和25%算法损失regret。
Magneto一种基础的Transformer模型架构 论文链接https://openreview.net/pdf?idoeAhgeKFEw
近年来人们陆续见证了语言、视觉、语音以及多模态等领域中模型架构的大融合。从自然语言处理开始Transformers 已经广泛作为视觉、语音以及多模态在内的各领域骨干网络。然而尽管都使用同样的名字“Transformers”但它们的实现在不同任务中存在着显著差异。在多模态模型的预训练中对于不同的输入模态最优的 Transformer 变体通常是不同的。图4总结了在各任务上广泛使用的先进模型的架构。视觉预训练往往使用 Pre-LayerNorm 的 Transformers而掩码语言建模和机器翻译则使用 Post-LayerNorm 以取得更好的性能。以视觉-语言预训练为例对于视觉编码来说使用 Post-LayerNorm 是次优的而对于语言任务来说使用 Pre-LayerNorm 则是次优的。真正的多模态预训练需要一个在各种任务和模态下都能表现良好的统一架构。另外大规模 Transformer 模型训练难、易崩溃需要付出巨大的成本来调整超参数或监督模型的训练过程。 图4微软亚洲研究院的研究员们提出的 Magneto 在语言、语音、视觉和多模态任务上比之前最先进的骨干网表现更好。
由此微软亚洲研究院的研究员们呼吁发展“Foundation Transformers”以实现真正的通用建模进而提出了 Magneto。图5展示了 Magneto 的伪代码和不同架构下的示意图。可以看到Magneto 引入了 Sub-LayerNorm并在每个子层中增加了一个额外的层归一化来减缓预训练中遭遇的激活爆炸。此外研究员们还拓展了 DeepNet 对于训练稳定性的分析框架为 Magneto 提出了一种新的初始化方法从理论上保证深层模型训练的稳定使得 Magneto 可以无痛地进行扩展。 图5左上Sub-LN 的伪代码。这里以 Xavier 初始化为例可以用其他标准初始化方法替代。γ 是一个常数。右上不同架构N 层编码器M 层解码器的 γ 值。底部不同架构下的 Sub-LN。
研究员们在广泛的任务和模态上评估了 Magneto 的性能包括掩码语言建模BERT)、因果语言建模GPT、机器翻译、掩码图像建模BEiT、语音识别和视觉-语言预训练BEiT-3。图4展示了 Magneto 在各种下游任务上显著优于现有分别设计的 Transformer 变体。而且Magneto 在优化方面更稳定这就使得以更高的学习率来提升下游任务性能的表现成为可能同时不会导致训练崩溃。
环境干扰下的鲁棒情境强化学习 论文链接https://openreview.net/pdf?idhGJLN2Ys4c
在很多实际的任务中动态变化且不可控制的环境因子对决策过程起着重要作用比如库存管理中的顾客需求量和自动驾驶中的前车速度这类环境因子被为上下文context。强化学习在这类应用中的主要挑战之一在于真实的上下文转移分布会暴露于某些因素的干扰下导致上下文的转移分布发生偏移极大地影响强化学习算法的性能。例如在自动驾驶的跟车任务中智能体在训练中遇到前车速度一直是正常的但在测试的时候前车突然急刹车导致智能体控制的车撞了上去。
为了处理这类问题研究员们提出利用胡伯尔污染模型Huber’s contamination model对上下文转移分布的偏差和不确定性进行建模并称这个框架为对形势变化鲁棒的马尔可夫决策过程。基于这个模型研究员们把现有的强化学习算法扩展成能对上下文转移分布的扰动达到比较好鲁棒效果的算法从而得到对形势变化鲁棒的决策。在跟车类型的机器人运动控制和库存管理的实验里相比基础的强化学习算法和鲁棒强化学习算法该算法达到了对于上下文扰动更好的鲁棒性能。 图6胡伯尔污染模型框架
Synthetic Prompting: 为大语言模型合成有效的思维链示例 论文链接https://openreview.net/pdf?idRYD1UMgTdk
大语言模型可以通过链式思考chain-of-thought prompting来完成各种推理任务即利用指令和任务示例引导模型生成逐步的推理过程来解决问题。在少样本的情况下语言模型的表现很大程度上取决于任务示例的质量尤其是在推理过程复杂且模式多样的任务上。理想情况下科研人员们希望能获取大量且多样的示例从中选取对模型帮助最大的示例构成任务提示词。然而人工构建大量的示例既费时又繁琐而仅依赖少量的人工示例则可能不利于模型泛化到更多样的测试场景当中去。
为解决上述问题研究员们提出了 Synthetic Prompting利用大语言模型自身的知识和生成能力基于有限的人工示例合成更多更有效的示例并通过合成示例触发更好的推理表现。具体而言给定一些种子示例每个示例由一个问题和一系列推理步骤组成通过交替进行后向-前向过程来引导语言模型生成更多示例1后向过程语言模型根据自我采样的推理链合成一个问题以确保问题可回答且逻辑清晰2前向过程语言模型基于合成的问题生成一个推理链确保推理链的精确性。这个过程需一直重复直到获得足够的合成示例。
为了从合成的示例集中选择最有效的示例研究员们提出了一种基于 in-cluster complexity 的选择方案通过对示例进行聚类并选择每个聚类中最复杂的示例推理链最长的示例来最大程度地增加所选示例的多样性和信息量。最后用所选定的示例构成提示词来进行推理测试。 图7示例合成阶段的后向过程左图和前向过程右图。在后向过程中研究人员将主题词、所期望的推理复杂度、以及模型采样生成的推理过程蓝色部分作为问题合成绿色部分的生成条件以分别提高所合成样本的多样性、信息量、和逻辑性。在前向过程中语言模型为后向过程中所生成的问题合成一个更精确的推理链紫色部分。后向过程中生成的问题和前向过程中生成的推理过程构成一个合成示例。
Synthetic Prompting 让大语言模型同时充当任务示例的“消费者”和“生产者”一定程度上实现推理效果的自我提升。在数值推理、算法推理和符号推理任务上的实验表明相比于此前方法如 chain-of-thought prompting 和 PAL promptingSynthetic Prompting 可以实现高达15.6%的提升。
