企业做网站的公司,重庆网站建设仿站,广告营销公司,网页设计与实现论文背景
网络下载
提起网络下载领域#xff0c;你应该首先会想到基于 TCP/IP 协议簇的 C/S 模式。这种模式希望每一个客户机都与服务器建立 TCP 连接#xff0c;服务器轮询监听 TCP 连接并依次响应#xff0c;如下图#xff1a; 上世纪末期#xff0c;基于 C/S 模式的思想你应该首先会想到基于 TCP/IP 协议簇的 C/S 模式。这种模式希望每一个客户机都与服务器建立 TCP 连接服务器轮询监听 TCP 连接并依次响应如下图 上世纪末期基于 C/S 模式的思想人们发展了 HTTP 、 FTP 等应用层协议。然而 C/S 模式的弊端很明显服务器的负载过大下载速率过慢。随着互联网规模的增大以及客户对于下载数据大小下载速率等需求的上升这些弊端被不断放大。
P2P 下载原理
基于上述背景有人结合 P2P 网络与负载均衡的思想提出 P2P 下载模式。这种模式不再把所有的下载压力丢给服务器服务器只负责传递文件元数据真正的文件下载连接建立在客户机与客户机之间。同时一个文件可以被分片为多个块同一个文件中不同的块可以在不同的客户机之上下载使得下载文件在 P2P 网络中动态流通大幅提升了下载效率如下图 去中心化的 P2P 下载基于 DHT 技术它采用分布式全网方式来进行信息的存储和检索。所有信息均以哈希表条目形式加以存储这些条目被分散地存储在各个节点上从而以全网方式构成一张巨大的分布式哈希表。在此基础上做到对单服务器的去中心化哈希表负责对负载的分摊将全网负载均摊到多个机器之上。
Dragonfly 简介及架构概述
Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。
原理
Dragonfly 结合 C/S 架构与 P2P 架构的优点。它提供面向客户的 C/S 架构下载模式。同时它也提供面向服务器集群的 P2P 回源模式与传统 P2P 不同的是对等网络建立在 Scheduler 内部目标是最大化 P2P 内部下载效率如下图 架构简介
Dragonfly 面向镜像分发和文件分发结合 P2P 网络和服务器集群的思想向用户提供稳定的、高效的下载服务。Dragonfly 希望在服务器内部构建 P2P 网络将服务器的不同主机节点分为 Manager、Scheduler、Seed Peer 以及 Peer 四个角色分别提供不同的功能。
其中 Manager 提供总体配置功能拉取其他角色的配置并相互通信。Scheduler 提供下载调度功能其调度结果直接影响下载速率。Seed Peer 负责回源下载从外部网络中拉取所需的镜像或文件。Peer 作为 C/S 架构中的服务器通过多种协议向客户提供下载功能。架构图如下 其中Seed Peer 支持使用多种协议从外部网络中回源下载同时也支持当作集群当中一个 Peer 使用。Peer 提供基于多种协议的下载服务也提供为镜像仓库或其他下载任务的代理服务。
组件详解
Manager
Manager 在多 P2P 集群部署的时候扮演管理者的角色提供前端控制台方便用户进行可视化操作 P2P 集群。其主要提供动态配置管理、维护集群稳定性以及维护多套 P2P 集群的关联关系等功能。对于维护集群整体稳定性 Manager 和各个服务保持 Keepalive 保证能够在实例异常情况下将异常实例进行剔除。动态配置管理可以在 Manager 上面操作各个组件的控制单元比如控制 Peer 和 Seed Peer 的负载数Scheduler 调度 Parent 的个数等。Manager 也可以维护多套 P2P 集群关联关系一个 Scheduler Cluster、一个 Seed Peer Cluster 和若干个 Peer 组成一个完整的 P2P 集群当然不同 P2P 集群可以是网络隔离的。正常情况下采用一个机房一套 P2P 集群统一由一个 Manager 管理多个 P2P 集群。
Scheduler
Scheduler 主要工作就是为当前下载节点寻找最优父节点并触发 Seed Peer 进行回源下载。在适当时候让 Peer 进行回源下载。Scheduler 在启动时先向 Manager 注册注册成功后初始化动态配置客户端并从 Manager 拉取动态配置接下来启动 Scheduler 自身所需的服务。
Scheduler 的核心就是选取一组最优 Parent 节点供当前下载 Peer 进行下载。Scheduler 面向 Task一次 Task 就是一次完整的下载任务在 Scheduler 中存储 Task 信息和相应 P2P 下载网络的 DAG。调度过程是首先过滤异常 Parent 节点根据多维度进行过滤比如判断该 Peer 是否是 BadNode判断逻辑为假设每个节点的响应时长都遵循正态分布若一个节点目前的响应时长处于 6σ 范围之外那么认为该节点是 BadNode剔除该节点。再根据历史下载特征值对剩余待定 Parent 节点进行打分返回一组分数最高的 Parent 提供给当前 Peer 进行下载。 Seed Peer 和 Peer
Seed Peer 和 Peer 有很多相似之处。他们都是基于 Dfdaemon不同的是 Seed Peer 采用 Seed Peer 模式支持主动触发回源下载。Peer 采用 Peer 模式作为 C/S 架构中的服务器向用户提供下载功能支持被 Scheduler 被动触发回源下载。这表明 Peer 和 Seed Peer 的关系不是固定的一个 Peer 可以通过回源使自己成为 Seed PeerSeed Peer 也可以改动运行状态变为 PeerScheduler 会动态地对相应 DAG 进行改动。另外 Seed Peer 和 Peer 都需要参与调度下载过程当中Scheduler 可能会选取 Seed Peer 或者 Peer 作为父节点向其他 Peer 提供下载功能。
Dfstore 和 Dfcache
Dfcache 是 dragonfly 的缓存客户端它与 dfdaemon 通信并对 P2P 网络中的文件进行操作其中 P2P 网络充当缓存系统。可以在 Scheduler 中存储相应 Task 和 DAG。
Dfstore 是 dragonfly 存储客户端. 其可以依赖不同类型的对象存储服务作为 Backend提供稳定的存储方案现在支持 S3 和 OSS 。Dfstore 依赖 Backend 对象存储服务结合 P2P 本身的加速特点。可做到快写快读并且能够节省回源以及跨机房流量减少源站压力。
优势
稳定性
Dragonfly 会自动隔离异常节点来提高下载稳定性Dragonfly 中各个组件通过 Keepalive 与 Manager 进行联系Manager 能够保证返回给 Peer 的 Scheduler 地址和返回给 Scheduler 的 Seed Peer 地址都是可用的。不可用的 Scheduler 和 Seed Peer 不会被 Manager 推给需要进行下载任务的 Peer 或 Scheduler从而达到隔离异常节点的目的这也是实例维度的异常隔离如下图 另外 Dragonfly 在调度时以 Task 为单位也确保了整个调度过程的稳定性。在收到一个新的 Task 调度请求之后Scheduler 触发 Seed Peer 进行回源下载在收到一个已有 Task 的调度请求之后Scheduler 调度最优 Parent Peer 集合返回给 Peer。这个逻辑确保了无论 Task 是否下载过Dragonfly 都可以对其进行处理。此外在 Scheduler 调度过程中对响应时长过慢的 Peer 认为目前是异常节点将不会作为 Parent Peer 被返还。这也是 Task 维度的异常隔离。
高效性
Dragonfly 采用 P2P 进行服务端内部的回源P2P 下载本身即分摊负载将每个服务端节点的负载降到最低有以下几个细节保证了 Dragonfly 下载的高效性
Scheduler 通过为每个可能的 Parent 打分返回给 Peer 目前局部最优的 Parent 集合Peer 基于此集合做下载。下载过程基于 Task每个 Task 将待下载文件分为多个 PiecePeer 拿到了最优的 Parent 之后向此集合广播每个 Piece 的下载请求集合中的 Parent 收到该请求后返回给 Peer 对应 Piece 的元信息Peer 将第一个收到的 Piece 元信息所对应的 Parent Peer 作为该 Piece 的实际下载源。该做法考虑到 Scheduler 返回可用 Parent 到触发下载这段时间内可能的变化同时对不同的 Piece允许 Peer 向不同的下载源获取数据。Dfdaemon 分为 Seed Peer 模式和 Peer 模式允许 Seed Peer 和 Peer 进行切换可以根据实际需求改变作为 Seed Peer 和 Peer 的机器数目动态调整更适应实际情况。
简单易用
Dragonfly 提供 Helm Charts、Docker Compose、Docker Image 以及二进制的多种部署方式。用户可以快速一键部署进行一次简单 POC并且也可以基于 Helm Charts 进行大规模生产部署。当然 Dragonfly 各个服务都有完善的 Metrics 也提供现成的 Granafa 模版方便用户观察 P2P 的流量走势。
Dragonfly 作为 CNCF 在镜像加速领域标准解决方案结合 Dragonfly 子项目 Nydus 进行按需加载可以最大限度提升镜像下载速度未来我们也会继续努力建设镜像加速领域的生态链。
关于视频回放
【视频回放】视频回访已上传至龙蜥官网https://openanolis.cn/video 查看。
相关链接
龙蜥云原生SIG地址链接https://openanolis.cn/sig/cloud-native 项目地址:https://github.com/dragonflyoss/Dragonfly2 官网https://d7y.io/Slack:https://cloud-native.slack.com/messages/dragonfly/ Twitter:https://twitter.com/dragonfly_oss Developer Group Emaildragonfly-developersgooglegroups.com原文链接
本文为阿里云原创内容未经允许不得转载。
