房子做水电的时候是不是要先埋网站,北京常见网站建设推荐,动漫设计需要什么基础,保利建设开发总公司网站今天这篇文章无意引战#xff0c;只想从历史发展的角度来谈谈深度学习大背景下的开发工具变迁#xff0c;以及对未来发展趋势的想象。TensorFlow#xff1a;无力回天的深度学习里程碑不知道有多少小伙伴是2017年以前入坑深度学习的#xff0c;那时候人工智能概念火热#… 今天这篇文章无意引战只想从历史发展的角度来谈谈深度学习大背景下的开发工具变迁以及对未来发展趋势的想象。TensorFlow无力回天的深度学习里程碑不知道有多少小伙伴是2017年以前入坑深度学习的那时候人工智能概念火热炼丹术方兴未艾无论是学术界还是工业界炼丹师们普遍处于在魔改神经网络结构疯狂调参上分的阶段。那时候PyTorch还仅仅是个玩具NLPer普遍钟爱TensorFlowCVer还在坚守Caffe。尽管当时TensorFlow存在API臃肿、静态图机制反人类、速度慢等种种槽点但是总比用NumPy手写反向梯度传播来得强。而这个空窗期也正是TensorFlow最为巅峰的时期一时间CV、NLP、Speech乃至其他用到深度学习技术的应用领域的研究成果绝大多数都选择了TensorFlow作为开源代码。那时候的深度学习开发者是幸运的也是不幸的。幸运的是人们不用纠结框架的选择学习TensorFlow基本不会出错。不幸的是由于历史包袱TensorFlow的API过于臃肿复杂哪怕是有NumPy等数值计算经验的专业从业者也往往要耗费一两个月的时间才能入门对于普通开发者和学生群体而言甚至会出现耗费近半年的时间来学习深度学习框架的使用的情况。对于对学生来说这是一个学期的珍贵时间对从业人员来说更是难以忍受的代价。有几个公司能忍受自己的员工消耗半年时间去学习一个框架之后再去干活呢企业往往是投入大量人力和资源去搞人工智能但是却发现能在真实场景中应用的产品寥寥无几。甚至连能够真正运行的Demo都产出困难。不过还好几年前的AI时代不太讲求落地能讲好故事就好了。所以尽管深度学习框架的学习门槛极其高真正熟练掌握能用于工业级模型产出的人不多不过由于不需要大规模落地大家学不会也没关系会做PPT就可以了。PyTorch赢了当下难顶未来有人说PyTorch似乎解决了TensorFlow的痛点。2018年-2019年风云骤变PyTorch凭借干净的API、与Python完美融合的动态图机制成功俘获了大量开发者的芳心开发者调整深度学习模型底层结构、调试模型的代价明显降低了。不过事后开发者也发现了PyTorch的缺陷多机多卡大规模训练速度慢、实现复杂模型部署困难依然免不了学习底层理论等。因此可以说PyTorch的突破更多的是造福了致力于深度学习底层创新的研究者对于迫切需要将想法快速变成AI产品的业界从业者来说PyTorch并没有真正解决他们的痛点问题。而对于数学基础较为薄弱的学习者和爱好者来说PyTorch的实际使用门槛也无疑还是太高了。安卓、IOS开发之所以能大规模普及带来移动APP的爆发式增长一个非常重要的原因就是安卓、IOS的开发者套件屏蔽了来自底层操作系统和硬件驱动的复杂细节使得开发者能够非常快速、低成本的将想法变成真实可用的APP。显然PyTorch并没有完成这个重要的里程碑式的任务它依然需要开发者去直面众多繁杂的底层细节且依赖足够的人工智能理论、数学基础和系统优化功底才能稳定完成各类可用的模型开发和部署。总之PyTorch相对TensorFlow是深度学习历史上的一大进步赢得了当下。但是从人工智能当下发展趋势和对未来的预判来说显然PyTorch是无法支撑起未来时代的想象力的。飞桨厚积薄发抓住预训练时代尽管PyTorch提升了框架的易用性和debug效率但是随着以BERT为代表的预训练技术的诞生开发者们很快就发现了问题预训练模型几乎限定死了模型结构导致PyTorch的灵活性似乎变得无用武之地了预训练模型的训练、微调和推理都要消耗大量算力而速度慢、显存开销大、多机多卡支持差是PyTorch的天然劣势尽管深度学习社区在拼命为PyTorch打补丁写踩坑记录但是却依然难顶PyTorch特性对预训练时代的不适应。与此同时TensorFlow却在着急让自己变得更像PyTorch这无疑更让开发者们头大。学TensorFlow还是PyTorch这是一个问题。这时候一个新的身影出现了——飞桨PaddlePaddle。作为深度学习框架的“国货之光”百度七年磨一剑终于在这个预训练时代厚积薄发势如破竹般地迅速俘获了广大开发者的芳心。一方面它兼具PyTorch的灵活易用又具备完全不逊TensorFlow的大规模训练与部署能力此外飞桨具有比PyTorch和TensorFlow更硬核且易用的显存管理能力和多机多卡训练能力使得飞桨可以更加无压力的训练和部署大型预训练模型。更加值得一提的是飞桨还通过内置的混合精度训练技术2017年百度研究院提出、显存重计算技术、Sharding机制等使得单张图形卡训练大型BERT Large也成为了可能。可以说学术界受限于算力资源飞桨通过硬核的底层优化很好的缓解了预训练模型大量消耗计算资源问题解决预训练时代的学术界刚需工业界需要业务落地和大规模部署飞桨则通过易用性和禁得起百亿流量冲击的部署能力解决预训练时代的工业界刚需。前不久权威数据调研机构IDC也公布了2020年下半年深度学习框架平台市场份额报告。数据显示在中国深度学习平台市场综合份额中Google、百度、Facebook稳居前三占据70%以上市场份额。其中百度占比提升3.38%增速第一综合市场份额位列第二与位列第一的Google几乎持平。接下来还有没有更大想象力的划时代产品呢我们先来探讨开发者与研究者的区别造成区别最重要原因是两者的目标不同研究者的直接优化目标是人工智能基础设施包括具备一定普适性的模型结构研究、训练方法优化、计算复杂度优化、理论模型完善等使得未来人们开发人工智能产品的门槛尽可能低效果尽可能好速度尽可能快。开发者的直接目标是人工智能产品需要将预期的产品功能又快又好的开发实现至于产品背后的理论优化工作和领域的普适研究工作不应作为开发者的第一追求目标。可惜的是无论TensorFlow还是PyTorch主要目标均放在了研究者对于开发者更多是提供额外的模块或工具来打补丁反而进一步增加了开发者的学习和使用负担。如今人工智能已经进行到了下半场资本市场对人工智能技术的期待已经从PPT转移到了实际产品的落地上。然而落后的生产工具却让开发者感到异常难顶既缺乏精力和基础来大力学习深度学习底层理论和PyTorch这类面向研究人员的复杂深度学习框架又面临繁重的AI产品、模块开发压力。提高开发人员的生产力真的没有办法了吗AI圈子内流传一句俗话学术研究看谷歌工业落地看百度。比如尽管最早提出神经机器翻译的不是百度但是百度确是全球最早克服重重困难将该前沿技术落地到机器翻译产品的公司。百度早已在搜索、信息流、智能交互等AI技术的重要落地场景中遍地开花CV、NLP、语音技术等基于深度学习再升级赋予更多业务场景新的生命力。如今在事关开发效率的深度学习平台问题上百度的落地意识也觉醒最早实践最深。先是成功跻身世界三大深度学习框架的“国货之光”飞桨凭借简洁的设计和出色的大规模训练部署方面的性能优势在工业落地方面丝毫不输TensorFlow和PyTorch更加充分的发挥了工业界的算力优势和部署资源优势。此外其基于飞桨的BML全功能AI开发平台Baidu Machine Learning简称BML则似乎满足了人们对人工智能产品开发的各种想象。它具备多种模型构建方式开发者可以选择尽可能少地屏蔽不必要的复杂的底层API也能够依靠自己的代码能力打造AI模型同时在部署问题上最大化减轻开发者的压力强调“一站式部署应用”。一切为了帮助开发者最快速度完成一个人工智能产品模块的开发和真正的落地应用。基于BML将想法变成现实可以有多快呢在BML中选择脚本调参模型构建模式无需再像使用PyTorch、TensorFlow底层框架那样自己定义网络结构、从零开始手写训练流程等诸多细节也无需再将训练得到的模型剪枝、量化等进而使用专用的部署工具部署。对于BML平台来说AI想法的从0到1只需要如下四步Step 1 创建训练任务确定任务名称记录希望模型实现的功能。Step 2 上传并标注数据通过EasyData支持图像、文本、音频、视频等多类数据的管理与标注如分类功能的模型只需按分类如合格图片vs不合格图片上传图片即可检测功能的模型上传数据后需要在数据中标注出需要检测的具体目标分割功能的模型上传数据后需要在数据中标注出需要识别物体的轮廓Step 3 启动训练并校验效果在这一步中百度BML独家预置了百度超大规模预训练模型包括视觉超大规模预训练模型及NLP预训练模型ERNIE 2.0。只需选择预训练模型及网络进行基本参数配置即可启动模型训练。同时在这个环节里脚本调参的建模方式还支持自动数据增强及自动超参搜索减少工程师通宵达旦的调参成本高效获取高精度模型效果。Step 4 部署模型根据训练时选择的部署方式将模型以云端API、设备端SDK、私有化等多种方式发布使用。特别是随着端计算的成熟端模型的转换和部署成为很多开发者的痛点目前BML的端部署方案上已经支持四大操作系统15芯片类型在设备端的预测速度可提升10倍。
使用百度BML用户可以根据自己的能力和需求选择开发方式在保证精度的前提下尽可能减少代码调整从数据上传、模型训练、模型管理到模型的部署一站式的AI开发流程非常顺滑。如果脚本调参对与AI小白来说还是太难飞桨还推出了EasyDL零门槛AI开发平台专门面向零算法基础的AI应用开发者零代码、最快15分钟搞定模型训练与部署进一步降低AI应用的门槛。与BML不同EasyDL提供了全自动化的模型训练机制。担心精度不够大可不必因为EasyDL底层结合了百度 AutoDL/AutoML技术针对用户数据能够自动获得最优模型和最优超参组合进而基于少量数据就能获得出色性能和模型效果。可以说使用EasyDL不仅可以快速实现 “95%准确率模型” 甚至连最后一公里的深度调参优化都能直接完成十之八九此外EasyDL的想象力不仅在于彻底释放了AI开发者的生产力使其可以专注在idea的实现上而且EasyDL提供了非常丰富实用的模型部署方案。使得开发者得到的模型不仅具备惊艳的效果还直接具备实用能力创造真实价值。训练完成后开发者可将模型部署在公有云服务器、私有服务器上。通过使用EasyDL已有来自工业、零售、政务、物流、互联网等超过20个行业的用户实现了智能化转型将人工智能的力量赋予生产生活的各种场景。对了还有个事情现在百度EasyDL还正在搞一个「万有引力」活动只要你通过EasyDL完成了业务模型的定制训练、部署和应用就可以领取万元的专项代金券。如果你的模型落地效果还非常好还有机会获得最高十万元的特殊补贴。点击阅读原文或者自己百度直接搜索EasyDL就能访问他的官网参与活动去释放一下自己的想象力吧好了只能帮你到这里了快去试试吧后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
