如果自己做网站,家私家具网上商城,广告宣传图片制作app,网页视频下载软件哪个好来源#xff1a;AI科技评论作者#xff1a;张铁林#xff0c;徐波论文标题#xff1a;A Mesoscale Plasticity for Efficient AI Learning在人工智能领域#xff0c;目前人工神经网络中被广泛使用的反向传播算法#xff08;Backpropagation#xff0c;BP#xff09;采用… 来源AI科技评论作者张铁林徐波论文标题A Mesoscale Plasticity for Efficient AI Learning在人工智能领域目前人工神经网络中被广泛使用的反向传播算法BackpropagationBP采用全局优化策略这种端到端的学习方法性能卓越但学习过程能量消耗大且缺乏灵活性。中科院脑智卓越中心徐波、蒲慕明联合研究团队近期借助生物网络中发现的介观尺度自组织反向传播机制Self-backpropagationSBP在更具效率和灵活性的类脑局部学习方法方面取得了重要进展。SBP的发现最早可以追溯到1997年。蒲慕明团队在Nature杂志上撰文发现海马体内的神经元可以将长时程抑制Long-term depressionLTD可塑性自组织地传播到三个方向分别是突触前侧向传播Presynaptic lateral spread、突触后侧向传播Postsynaptic lateral spread、反向传播Backpropagation[1]这个发现就是自组织反向传播神经可塑性机制SBP。后续研究证实SBP现象具有普遍性不仅覆盖更多的神经区域如视网膜-顶盖系统[2]还覆盖更多的可塑性类型[3]如长时程增强Long-term potentiationLTP。该机制的发生归结于生物神经元内分子调制信号的天然逆向传递被认为是可能导致生物神经网络高效反馈学习的关键[4]。研究团队受到该机制的启发对SBP的反向传播方向第三个方向单独构建数学模型图1A重点描述了神经元输出突触的可塑性可以反向传播到输入突触中图1B可塑性的发生可以通过时序依赖突触可塑性Spike timing-dependent plasticitySTDP也可以通过人工局部梯度调节。在标准三层脉冲神经网络Spiking neural networkSNN的学习过程中SBP机制可以自组织地完成前一层网络权重的学习且可以结合短时突触可塑性Short-term plasticitySTP、膜电位平衡Homeo-static membrane potential等形成更强大的SNN组合学习方法图1C。在一类人工神经网络Artificial neural networkANN如受限玻尔兹曼机网络Restricted Boltzmann machineRBM的学习中图2ASBP机制也可以替换迭代过程中部分BP机制实现交替的协作优化图2B-E。针对SNN和RBM的不同团队又分别设置了两种不同的能量函数约束来保证训练过程中网络参数学习的平稳性。此外研究团队针对性地提出了一种统计训练过程中能量消耗的新方法图3。在图片分类MNIST、语音识别NETtalk、动态手势识别DvsGesture等多类标准数据集上SBP机制通过组合其它可塑性机制实现了更低能耗和更高精度的SNN局部学习图4。在ANN-RBM的学习中SBP机制也可以大量的替换BP机制实现全局和局部交叉学习在降低计算能耗同时却不损失精度图5。研究人员认为SBP是一类介观尺度的特殊生物可塑性机制该机制同时在SNN和ANN中获得了广泛的组合优化优势对进一步深入探索类脑局部计算具有很大的启示性。生物智能计算的本质很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习结合遗传演化赋予的远程投射网络结构实现高效的全局优化学习效果。该工作可以进一步引导生物和人工网络的深度融合最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型。相关工作Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks于2021年10月20日美东时间在线发表于《科学》子刊《Science Advances》上。中国科学院自动化研究所类脑智能研究中心张铁林副研究员为第一作者徐波研究员为通讯作者程翔博士生、贾顺程博士生、蒲慕明研究员和曾毅研究员为共同作者。相关研究工作得到了国家自然科学基金委、先导B等项目的资助。相关论文地址见https://www.science.org/doi/10.1126/sciadv.abh0146图1SBP在SNN中的应用。ASBP可塑性机制。BSBP在SNN中的局部反向传播。CSBP和其它可塑性机制在SNN中的组合优化。图2SBP在RBM中的应用。ASBP和BP在RBM中的组合优化。BSBP和BP的交替协作流程。CRBM中的标准Sleep Phase。D含有SBP的Wake Phase。E含有BP的Wake Phase。图3训练能量消耗的计算方法。A平均迭代次数。B每次迭代中的算法复杂度。图4在MNIST、NETtalk、DvsGesture三个数据集上的性能对比。A,C,ESBP分别取得了基于梯度和基于可塑性方法的SNN最优性能。B,D,FSBP分别取得了基于梯度和基于可塑性方法的SNN最低能耗。图5SBP有助于RBM提升精度和降低能耗。A-C在MNIST数据集中SBP可以少量降低RBM的训练误差A可以同时平衡精度和能耗得到最优的Wake Phase次数B且可以显著降低训练能耗C。D-I在NETtalk和DvsGesture数据集中SBP得到了和在MNIST中类似的结论。参考文献[1] Fitzsimonds, R. M., Song, H. J. Poo, M. M. Propagation of activity-dependent synaptic depression in simple neural networks. Nature 388, 439-448, (1997).[2] Du, J. L. Poo, M. M. Rapid BDNF-induced retrograde synaptic modification in a developing retinotectal system. Nature 429, 878-883, (2004).[3] Du, J. L., Wei, H. P., Wang, Z. R., Wong, S. T. Poo, M. M. Long-range retrograde spread of LTP and LTD from optic tectum to retina. Proceedings of the National Academy of Sciences of the United States of America 106, 18890-18896, (2009).[4] Bi, G. Poo, M. Synaptic modification by correlated activity: Hebbs postulate revisited. Annual Review of Neuroscience, 24, 139-166, (2001).未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
