传媒网站如何设计,郑州专业网站建设,漳州做网站优化,坪山住房及建设局网站简介#xff1a;函数计算作为事件驱动的全托管计算服务#xff0c;其执行模式天生就与这类 Job 场景非常契合#xff0c;对上述痛点进行了全方面的支持#xff0c;助力“任务”的无服务器上云。
作者#xff1a;冯一博
任务#xff08;Jobs#xff09;#xff0c;是互…简介函数计算作为事件驱动的全托管计算服务其执行模式天生就与这类 Job 场景非常契合对上述痛点进行了全方面的支持助力“任务”的无服务器上云。
作者冯一博
任务Jobs是互联网服务的一种常见场景。在诸如 AI 训练、直播视频转码、数据清洗ETL、定时巡检等场景下任务平台能否支持快速的高并发任务启动性能、提供较高的离线计算资源利用率以及丰富的上下游生态是这类场景的核心痛点。函数计算作为事件驱动的全托管计算服务其执行模式天生就与这类 Job 场景非常契合对上述痛点进行了全方面的支持助力“任务”的无服务器上云。
函数计算和 Serverless Jobs
“Job”系统应具备什么能力
在上述的“Job”场景中一个任务处理系统应该具有以下能力
任务触发支持灵活的任务触发方式。如支持客户端手动触发支持事件源触发支持定时触发等任务编排能够编排复杂任务流程管理子任务之间关系如分支、并行、循环等逻辑任务调度及状态管理调度任务优先级多租隔离及任务状态管理支持多种任务并发度、限流能够管理任务状态控制任务的执行等资源调度解决任务的运行资源问题。这里面包括多种运行时支持计算资源冷启动延迟控制在/离线任务混部最终目标是使得系统具有较高的资源利用率任务可观测性任务执行历史的查看、审计任务的执行日志任务调度系统上下游生态任务调度系统可以自然接入上下游系统。比如与 Kafka/ETL 生态、消息生态等集成的能力。
阿里云函数计算 Serverless Job
函数计算 Jobs 能力全景图如下图所示 图一函数计算 Jobs 能力全景图
业界常见任务调度系统 Job 能力对比 表一常见任务调度系统能力对比
在普遍情况下像诸如一些云厂商的批量计算产品、开源的 K8s Jobs 等任务调度系统支持的最小粒度一般是按实例级别扩缩容并且不具有大规模任务编排管理的能力因此比较适用于低并发、重负载、超长时运行的业务如基因计算、大规模机器学习训练等而一些开源流程执行引擎、大数据处理系统的任务调度往往缺少弹性、多租隔离、高并发管理及可视化等一系列能力。函数计算作为免运维的 Serverless 平台很好的结合了上述不同系统的优点另外 Serverless 先天的弹性能力很好的支持了任务中普遍存在的高并发波峰波谷场景的需求。
推荐最佳实践 客户案例
AI 训练 推理
场景的核心诉求
同时支持实时推理 离线训练实时推理对冷启动有要求有明显的波峰波谷计算量大需要高并发计算实例间基本不需要协同一般需要容器镜像运行自定义库进行训练。
案例 1网易云音乐 - 音视频处理平台
网易云音乐的音乐“发现”和“分享”功能依赖对音乐进行基础特征分析及提取。在运行这类推荐算法及数据分析时需要依赖非常大的算力对音乐原始文件进行处理。网易云音乐音视频离线处理平台在经历了 异步处理模式- 优先及队列优化 - 算法集群虚拟化 - 算法镜像框架化 - 云原生化 这一系列演进后选择了函数计算作为视频平台的基础设施有效解决了不断扩大的计算规模所带来的的难以运维、弹性差等问题。 案例 2数据库自治服务 - 数据库巡检平台
阿里云集团内部的数据库巡检平台主要用于对 sql 语句的查询、日志等进行优化分析。整个平台任务分为离线训练及在线分析两类主要任务其中在线分析业务的的计算规模达到了上万核离线业务的每日执行时长也在 百万h。由于在线分析、离线训练时间上的不确定性很难提高集群整体资源利用率并且在业务高峰来时需要极大的弹性算力支持。业务最后使用函数计算构建了数据库巡检平台满足日常的 AI 在线推理及模型的离线训练任务。 案例3分众传媒 - Serverless 图片处理业务
在广告业务中运行深度学习算法进行图片处理、比对、识别是比较常见的业务这类业务往往具有数据来源多样、单实例处理时间不确定、波峰波谷明显、任务可观测要求高等特性。采用自购机器运行服务不但需要考虑机器的运维及资源利用率问题还比较难以适配多种多样的图片源难以做到服务的快速上线。
函数计算的多种事件源触发支持为这类业务提供了极大的便利。分众传媒采用 OSS/MNS 触发器触发函数计算解决数据源多样的问题。用户的图片数据可以上传至 OSS 或者 MNS对应的触发器则会直接触发函数计算来完成图片处理任务函数计算的弹性及按量付费模式解决了资源使用率及机器运维的烦恼。在可观测性方面任务处理实例使用了有状态异步调用模式对于任何已触发的任务做到了可追溯的能力方便业务对于执行失败的任务进行排查及重试。 视频转码 直播推流 录播转直播
直播转录/录播转直播业务往往同时具有业务的实时性、业务的不定时不定量的特点
要求直播同时能够随时拉起处理实例随时停止转录实例业务高峰的时间段集中在日间的几个小时夜间几乎没有业务请求。因此资源的利用率和成本是主要考虑的因素。
对于视频转码场景除一般的弹性诉求外往往还对资源规格CPU的灵活性有要求以期待获取更高的资源利用率。如
资源规格由于转码输出码率的不同出于成本考虑希望能够灵活弹起不同规格的资源运行时间随机性。由于需要提高转码效率往往会对视频进行分片处理因此任务来的瞬间可能需要很高的实例数为了提高转码效率可能进行分片后分别处理涉及到多函数间共享数据需要容器镜像方式来运行一些自身的库并且往往对快速启动由于转码的离线业务属性任务结束后还需要留存一定的任务记录以便后续审计、问题排查等需求。
案例 1新东方 - 云教室系统 Serverless 视频处理平台
新东方云教室系统支持了视频直播、转码、点播等新东方所有在线教育场景。随着业务量的增大由于直播转录及视频转码任务处理平台具有明显的波峰波谷特性自建机房较低的资源利用率成为了业务的核心痛点。为了提高整体的资源利用率云教室系统上述功能使用了函数计算可以根据业务特点灵活选择计算资源的规格毫秒级冷启动性能以及 pay as you go 的付费模式也使得整体的计算资源的利用率非常高在满足波峰算力的同时让整个系统拥有最低的成本。
在进行业务场景的 serverless 化的过程中云教室系统使用了阿里云函数计算有状态调用模式。这种模式也是专为 Job 场景打造能够进行历史记录查询及优雅停止任务的功能。在存储方面视频临时文件采用了函数计算 - NAS 方案。新东方通过视频平台的函数调度器能够轮询多个函数服务来进行负载均衡每个服务通过挂载不同的 NAS在做到了文件共享的同时提高了函数内部 NAS 临时存储的使用率进一步降低了资源的使用成本。 案例 2米连 - 直播视频实时合规审核平台
米连的直播相亲业务涉及视频处理的主要任务为视频截帧在拉流的同时进行视频截帧并上传到目标存储中。这类直播场景由于具有波峰波谷的特性因此除资源利用率要求外还具有一定的实时性及长时执行的要求。审核平台最终使用了函数计算支持高弹性及长时算力的能力有效的支撑了业务场景。 数据处理 ETL
场景的核心诉求
弹性高并发的支持。资源按需付费种类多样利用率高免运维复杂流程的编排支持任务的可观测性能力。
案例图森未来 - 自动化数据处理平台 让一切简单可靠
图森未来的无人驾驶技术研发依赖大量的路测试验数据积累而高效进行路测、快速对路测数据进行处理来指导模型的更新迭代是这类场景的核心诉求。而路测不定时运行数据入库的流程较长涉及多个系统交互算力不确定等特性为流程编排任务为数据处理平台带来了较大挑战。
针对上述情况图森未来探索数据处理平台的自动化。数据处理平台使用了 Serverless 工作流进行了整体流程的编排并通过原生支持的消息服务 MNS 解决了云上云下的数据打通问题。
除调度外图森未来通过使用任务的输入输出映射及状态汇报机制高效的管理流程中各任务的生命周期及相互间的数据传递对流程中任务的状态及执行过程中数据更新进行维护解决了长时不确定长流程的数据处理需求。
总结
结合上述案例及分析函数计算的弹性、可观测性、队列隔离能力及完整的事件生态极好的支持了这类任务场景。简单总结主要体现在以下几个方面
任务的触发 函数计算支持定时触发器、OSS 触发器、各类消息队列触发器这为 EDA 架构的应用程序、多种数据来源的数据处理场景提供了丰富的能力任务编排任务调度 函数计算原生被阿里云 Serverless 工作流服务无缝集成Serverless 工作流支持顺序、分支、并行等方式来编排分布式任务跟踪每个任务的状态转换并在必要时执行事先定义的重试逻辑。Serverless 工作流 函数计算的组合可以很好的支持复杂长流程的运行在资源层面Serverless 更能体现出其核心优势开发免运维并提供高弹性和高可用性保障。 对比自建使用无服务器架构后仅需要按实际任务执行的使用量付费即节省了成本也省去了运维的烦恼。函数计算支持多种运行时语言也支持了运行自定义容器镜像极大方便了开发调试流程。在可观测方面Serverless 工作流和函数计算对多任务流程、单任务流程提供了丰富的可观测性指标和查询方式能够便捷的查找历史、观测执行中等任务的指标及日志方便调试及问题追踪。
在未来函数计算 - Serverless Jobs 将精耕垂直领域的任务处理场景包括提供更长的实例执行时间、更丰富的可观测性指标、更强大的任务调度策略及端对端集成能力致力于为您提供垂直场景下的“最短路径”助力业务腾飞。
原文链接 本文为阿里云原创内容未经允许不得转载。
