com的域名是指商业网站的域名.,农林牧渔行业网站建设,阿里云怎么注册域名,怎样建设文章网站本文转载自开源中国。
推荐阅读#xff1a;《重磅 | Dragonfly 晋升成为 CNCF 孵化项目》
4 月 10 日#xff0c;由云原生计算基金会#xff08;CNCF#xff09;技术监督委员会投票决议#xff0c;来自中国的开源项目 Dragonfly 正式晋升为 CNCF 孵化级别的托管项目《重磅 | Dragonfly 晋升成为 CNCF 孵化项目》
4 月 10 日由云原生计算基金会CNCF技术监督委员会投票决议来自中国的开源项目 Dragonfly 正式晋升为 CNCF 孵化级别的托管项目成为继 Harbor、TiKV 之后第三个进入 CNCF 孵化阶段的中国项目。
CNCF 成立于 2015 年 7 月是 Linux 基金会旗下的重要开源组织之一围绕微服务、DevOps、持续交付、容器化四大特性致力于维护和集成云原生相关开源技术以支持编排容器化微服务架构应用。
目前CNCF 有会员公司超过 300 家其中包括 AWS、Azure、Google、阿里云等全球主流的云计算厂商。CNCF 的技术监督委员会由 11 位具有丰富技术知识和行业背景的代表组成为云原生社区提供技术领导。
在“云”已经成为大众基础设施的今天云原生被认为是云计算技术的 2.0 标准而 CNCF 正是引领云原生技术发展的风向标在业内具有举足轻重的地位。那么 Dragonfly 项目究竟凭何能够跻身 CNCF 孵化项目其在云原生的技术生态中又扮演着怎样的角色呢为深入了解 Dragonfly 项目的特性以及云原生技术在国内的发展现状我们邀请到了 CNCF 首位华人技术监督委员会委员TOC、阿里云资深技术专家李响先生请他分享了 CNCF 与 Dragonfly 的相关情况。
关于 CNCF 与 TOC
CNCF 是如今最有影响力的开源组织之一作为 CNCF 仅有的 11 名 TOC 之一我们对于李响平时的工作十分好奇。据李响介绍CNCF 基金会本质上是以项目为中心进行运作的目标是为了让 CNCF 吸纳更好的项目进而通过这些项目吸引更多最终的客户群体。有了更多的客户群体使用 CNCF 的项目之后厂商会把这些开源项目组合成产品或者云服务以更低的成本和更高的效率供客户使用助推整个云原生生态形成一个健康发展的产业闭环。
所以CNCF 是希望通过项目来连接基金会、开发者和厂商。因此作为 TOC 的核心目标就是收集最好、最适合基金会云原生理念的项目而李响个人的主要工作也是寻找最好的项目就像一名“星探”一样。
李响还给我们介绍了 CNCF 内部的项目晋升机制。进入 CNCF 的每个项目会被分为沙箱阶段 sandbox、孵化incubation 和毕业graduation这三个阶段。
沙箱阶段都是处于早期发展阶段的项目TOC 们会去寻找一些有潜力的项目为他们提供建议促使其进入沙箱阶段。CNCF 基金会本身并不像 Linux 基金会已有十几年发展历程它现在仍然还需要定义一些东西比如沙箱阶段的项目到底意味着什么进入沙箱阶段的流程又是如何从沙箱阶段进入孵化该怎么做它的标准是什么定义这些也是 TOC 的责任李响自己也在这方面投入了比较大的精力。
还有如何分配 CNCF 有限的资源来保证基金会能够以项目为中心运作如何能让 CNCF 既有创新能力又能在吸纳进大量项目的同时保持它的先进性、中立性以及云原生理念这些也都是 TOC 需要关心的问题。
Dragonfly 是什么
官方资料显示Dragonfly 项目主要解决以 Kubernetes 为核心的分布式应用编排系统的镜像分发难题。Dragonfly 的架构主要解决了大规模镜像下载、远距离传输、带宽成本控制、安全传输这四大难题。
1. 大规模镜像下载 图注
PouchContainer阿里巴巴集团开源的高效、轻量级企业级富容器引擎技术Registry容器镜像的存储仓库每个镜像由多个镜像层组成而每个镜像层又表现为一个普通文件SuperNodeDragonfly的服务端它主要负责种子块的生命周期管理以及构造 P2P 网络并调度客户端互传指定分块Block当通过 Dragonfly下载某层镜像文件时SuperNode 会把整个文件拆分成一个个的块SuperNode 中的分块称为种子块种子块由若干初始客户端下载并迅速在所有客户端之间传播其中分块大小通过动态计算而来DFgetDragonfly 的客户端安装在每台主机上主要负责分块的上传与下载以及与容器 Daemon 的命令交互Peer下载同一个文件的 Host 彼此之间称为 Peer。
处理步骤如下
1.首先由 Pouch Container 发起 Pull 镜像命令该命令会被 DFget 代理截获 2.然后由 DFget 向 SuperNode 发送调度请求 3.SuperNode 在收到请求后会检查对应的文件是否已经被缓存到本地如果没有被缓存则会从 Registry 中下载对应的文件并生成种子块数据种子块一旦生成就可以立即传播而并不需要等到 SuperNode 下载完成整个文件后才开始分发如果已经被缓存则直接生成分块任务 4.客户端解析相应的任务并从其他 Peer 或者 SuperNode 中下载分块数据当某个 Layer 的所有分块下载完成后一个 Layer 也就下载完毕此时会传递给容器引擎使用而当所有的 Layer 下载完成后整个镜像也就下载完成了。
通过上述 P2P 技术Dragonfly 可以彻底解决镜像仓库的带宽瓶颈问题充分利用各个 Peer 的硬件资源和网络传输能力达到规模越大传输越快的效果。值得一提的是Dragonfly 的系统架构不涉及对容器技术体系的任何改动完全可以无缝支持容器使其拥有 P2P 镜像分发能力以大幅提升文件分发效率。
2. 远距离传输
Dragonfly 通过 CDN 缓存技术使每个客户端可以就近从 SuperNode 中下载种子块而无需跨地域进行网络传输。CDN 缓存原理大致如下 同一个文件的第一个请求者会触发检查机制根据请求信息计算出缓存位置如果缓存不存在则触发回源同步操作生成种子块否则向源站发送 HEAD 请求并带上 If-Modified-Since 字段该字段的值为上次服务器返回的文件最后修改时间如果响应码为 304则表示源站中的文件目前还未被修改过缓存文件是有效的然后再根据缓存文件的元信息确定文件是否是完整的如果完整则缓存完全命中否则需要通过断点续传方式把剩下的文件分段下载过来断点续传的前提是源站必须支持分段下载否则还是要同步整个文件。如果 HEAD 请求的响应码为 200则表示源站文件已被修改过缓存无效此时需要进行回源同步操作如果响应码既不是 304 也不是 200则表示源站异常或地址无效下载任务直接失败。
通过 CDN 缓存技术可以解决客户端回源下载以及就近下载的问题但是如果缓存不命中针对跨域远距离传输的场景SuperNode 回源同步的效率将会非常低这会直接影响到整体的分发效率为了解决该问题Dragonfly 采用了一种自动化层级预热机制来最大程度的提升缓存命中率其大致原理如下 通过 Push 命令把镜像文件推送到 Registry 的过程中每推送完一层镜像就会立即触发 SuperNode 以 P2P 方式把该层镜像同步到 SuperNode 本地通过这种方式可以充分利用用户执行 Push 和 Pull 操作的时间间隙大概 10 分钟左右把镜像的各层文件同步到 SuperNode 中这样当用户执行 Pull 命令时就可以直接利用 SuperNode 中的缓存文件自然而然也就没有远距离传输的问题了。
3. 降低带宽成本
通过动态压缩可以在不影响 SuperNode 和 Peer 正常运行的情况下对文件中最值得压缩的部分实施相应的压缩策略从而可以节约大量的网络带宽资源同时还能进一步提升分发速率相比于传统的 HTTP 原生压缩方式动态压缩主要有以下几个方面的优势 动态压缩的优势首先自然是动态性它可以保证只有在 SuperNode 和 Peer 负载正常的情况下才会开启压缩同时只会对文件中最值得压缩的分块进行压缩且压缩策略也是动态确定的此外通过多线程压缩方式可以大幅提升压缩速率而且借助 SuperNode 的缓存能力整个下载过程只需要压缩一次即可压缩收益比相对于 HTTP 原生方式至少提升 10 倍。
除了动态压缩外通过 SuperNode 强大的任务调度能力可以尽量使在同一个网络设备下的 Peer 互传分块减少跨网络设备、跨机房的流量从而进一步降低网络带宽成本。
4. 安全传输
在下载某些敏感类文件比如秘钥文件或者账号数据之类的文件时传输的安全性必须要得到有效保障。在这方面Dragonfly 主要做了以下几个方面的工作
1.支持 HTTP Header 传输以满足那些需要通过 Header 来进行权限验证的下载请求 2.通过自研的数据存储协议对数据块进行包装传输后续还会对包装的数据进行再加密 3.即将支持安全加密功能插件化 4.通过多重校验机制可以严格防止数据被篡改。
Dragonfly 是如何晋升的
Dragonfly 能够进入 CNCF 的孵化阶段说明项目本身确实有能够让 TOC 眼前一亮的地方。李响介绍Dragonfly 主要解决的是大规模场景下的容器镜像分发的问题它与传统的解决方式有很大的不同。
传统的解决方式是中央式的存储以及分发好处是实现比较简单管控起来也比较方便但是这种方式在大规模场景会遇到一些挑战主要是由于难以更灵活的水平扩展处理突发的流量。
“举一个例子在阿里内部一些场景和阿里云容器服务客户场景下尤其是一些批量计算型的业务都有可能在一分钟内有千级别的容器创建的吞吐对于镜像分发也会产生相应的吞吐压力。应对这个高突发性且大规模的流量最好的办法就是利用 P2P 的特性来做分布式的分发。Dragonfly 正是基于这个理念构建的一套系统帮助用户和企业应对大规模容器场景让容器生态能覆盖更多、更复杂的场景。Dragonfly 的理念在容器这个特定的领域还是比较领先的应该是第一个尝试也算是比较成功的探索和实践。”
谈到 Dragonfly 为什么能够从沙箱阶段晋升至孵化项目李响向我们介绍了 CNCF 内部的评判标准。CNCF 对孵化项目有一些基础的要求比如项目的成熟度、使用普及度、贡献者的分布等等而 Dragonfly 从这些相对客观的指标看是完全符合孵化要求的。
从另外一方面看CNCF 也会考虑到项目是否能帮助到云原生领域的技术和社区发展是否能帮助到 CNCF 作为基金会自身的发展。这部分内容相对来讲比较主观因此也是要 TOC 这个 11 人的组织进行投票的。从投票结果看大部分人认可 Dragonfly 对于云原生领域和基金会的价值因此被接受为孵化项目。
在沙箱阶段时Dragonfly 就在一些实际生产环境中展现了它的价值包括电子商务、电信、金融和互联网等在内的各个行业场景下的应用。用户包括阿里巴巴、中国移动、Shopee、Bilibili、蚂蚁金服、虎牙、滴滴和 iFLYTEK 等。
比如中国移动浙江分公司在生产环境中采用 Dragonfly 已有 3 年以上的历史涉及超过 1000 台物理计算机目前在 Dragonfly 上运行 200 多个业务系统和 1700 多个应用程序模块新加坡电子商务平台 Shopee 也在生产环境中采用 Dragonfly 已有 1 年以上的历史涉及 10K 台物理机器国内视频弹幕网站 Bilibili 已在超过 3900 台机器的测试和生产环境中采用了 Dragonfly。来自 Bilibili 的工程师在注册表验证、稳定性等方面与 Dragonfly 社区合作并做出了积极贡献。
当然作为 TOC 的李响同时也是阿里云的资深工程师其在推动 Dragonfly 项目晋升的过程中也给项目团队提供了很多技术、生态方面的指导建议比如和 Harbor 生态的连接、与阿里云产品的互动以更好地普及 Dragonfly 到终端用户等。
有什么意义
我们了解到李响本身也是 CNCF 另一个孵化阶段开源项目 Etcd 的作者那么进入孵化阶段对于项目维护者们来说意味着什么呢
“主要意味着有更大的责任去服务好云原生的用户和更好的连接相关生态Dragonfly 后续的工作也会围绕这两个目标进行。在开源上要简化安装、升级流程提高易用性、安全性等基础能力让用户更容易的在企业级场景下开箱即用的使用 Dragonfly 项目。另外我们也会推动 Dragonfly 与 CNCF 生态的和谐发展提高集成能力与 Harbor 、Quay、Clair 等项目更好配合并且能够推动 OCI 在 Distribution 相关的标准化建设。”李响说。
而对于 CNCF 组织本身来说新的项目从沙箱阶段晋升至孵化阶段也意味着云原生生态版图得到了进一步的完善。李响透露其实沙箱阶段的项目从某种意义上来讲并不属于正式的 CNCF 项目因此 CNCF 并不会给沙箱阶段的项目投入非常多的资源包括运营、市场、技术指导等。“孵化项目是 CNCF 正式项目的第一个阶段基金会会投入更多资源协助和支持项目的发展在技术上给予更多的指导和支持帮助 Dragonfly 能够顺利从基金会毕业成为云原生领域中的重要一环。”
谈到 CNCF 项目的最后一个阶段毕业李响表示能否毕业的主要考量还是项目的生态整体健康度以及项目成熟的情况CNCF 希望毕业的项目能够做到生产可用并且符合大部分企业的诉求。
云原生的发展前景
如今全球云原生建设正如火如荼地进行中国内很多一线大厂也都开始积极拥抱云原生。李响介绍云原生技术上主要的发展趋势主要有以下两点
标准化越来越多的云原生技术涌现使得对这些技术的统一描述、管理和打通的需求成为刚需向应用层上浮云原生起步于基础设施层但是正逐步向离用户更近的应用层迈进最终实现软件天然生于云上长于云上的愿景。目前的主要障碍是基础设施与应用层之间的链接还没有完全建立起来这一部分碎片化也非常严重没有在离用户更进的层次把云原生的价值发挥到最佳程度。目前阿里在积极参与这个工作帮助 CNCF Landscape 补齐应用定义和应用交付领域这也是 CNCF SIG App Delivery 目前正在推进的工作。
目前整个云原生的生态建设可以说是以容器编排系统 Kubernetes 为核心的有个说法是Kubernetes 是云原生时代的 Linux同时有另一个更为宽泛的说法云原生是开源的一大根基。李响表达了自己对于这两句话的理解“ Kubernetes 的成功实际上归功于其实现了对云基础设施计算、网络、存储等的标准化抽象这其实跟 Linux 这样一个标准化操作系统为我们屏蔽掉底层硬件细节的价值是完全一样的。正是有了这样的标准化基础设施抽象整个云计算生态才能够在之上逐层定义更多的应用层能力高效的实现云原生连接‘应用’与‘云’的核心价值。”
采访的最后李响还给想要接触和学习云原生相关技术的开发者一些建议目前国外云原生的发展主要集中在资源基础设施管理应用基础设施例如服务网格、可观察性等以及应用运维与交付技术这三个领域当中。国内的云原生关注点当前还主要集中在基础设施管理但是也正在迅速上浮到跟面向开发者的应用这一层。对于年轻的开发者CNCF 官方社区、博客等都是入门云原生技术一个比较好的渠道。
嘉宾介绍
李响拥有浙江大学本科和卡耐基梅隆大学硕士学位是 CoreOS 创始人之一参与创建了 etcd、operator framework、rkt 等开源项目。而在开源社区中李响作为 etcd 作者被开发者所熟知。该项目目前吸纳超过 400 名贡献者、14000 个提交发布超过 150 个版本广受开发者认可。于 2019 年 1 月成为 CNCF 首位华人 TOC 。
在加入阿里云后李响主要负责阿里巴巴大规模集群调度与管理系统帮助阿里巴巴通过云原生技术初步完成了基础架构的转型实现了资源利用率与软件的开发和部署效率的大幅提升并同步支撑了云产品的技术演进。
课程推荐
为了更多开发者能够享受到 Serverless 带来的红利这一次我们集结了 10 位阿里巴巴 Serverless 领域技术专家打造出最适合开发者入门的 Serverless 公开课让你即学即用轻松拥抱云计算的新范式——Serverless。
点击即可免费观看课程https://developer.aliyun.com/learning/roadmap/serverless “阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践做最懂云原生开发者的公众号。” 原文链接 本文为云栖社区原创内容未经允许不得转载。
