太原优化网站排名,wordpress登陆网址,微盟微商城怎么样,百度搜索引擎算法1、swarm 理论基础
1.1 简介 Docker Swarm 是由 Docker 公司推出的 Docker 的原生集群管理系统#xff0c;它将一个 Docker 主机池变成了一个单独的虚拟主机#xff0c;用户只需通过简单的 API 即可实现与 Docker 集群的通 信。Docker Swarm 使用 GO 语言开发。从 Docker 1.…
1、swarm 理论基础
1.1 简介 Docker Swarm 是由 Docker 公司推出的 Docker 的原生集群管理系统它将一个 Docker 主机池变成了一个单独的虚拟主机用户只需通过简单的 API 即可实现与 Docker 集群的通 信。Docker Swarm 使用 GO 语言开发。从 Docker 1.12.0 版本开始Docker Swarm 已经内置于Docker 引擎中无需再专门的进行安装配置。 Docker Swarm 在 Docker 官网的地址为https://docs.docker.com/engine/swarm/ 需要注意的是docker swarm与docker classic swarm是不同的。 1.2 节点架构
1 架构图
官网链接地址How nodes work | Docker Docs docker主机 、虚拟机、节点之间的关系docker主机可以认为与虚拟机是等同的但是docker主机与节点之间是一对多的关系。
2 swarm node 从物理上讲一个 Swarm 是由若干安装了 Docker Engine 的物理机或者虚拟机组成这 些主机上的 Docker Engine 都采用 Swarm 模式运行。 从逻辑上讲一个 Swarm 由若干节点 node 构成每个 node 最终会落实在一个物理Docker 主机上但一个物理 Docker 主机并不一定就是一个 node。即 swarm node 与 Docker主机并不是一对一的关系。 swarm node 共有两种类型manager 与 worker。 3 Manager Manager 节点用于维护 swarm 集群状态、调试 servcie、处理 swarm 集群管理任务。为 了防止单点故障问题一个 Swarm 集群一般都会包含多个 manager。这些 manager 间通过 Raft 算法维护着一致性。 4 Worker Worker 节点用于在其 Contiainer 中运行 task 任务即对外提供 service 服务。默认情况 下manager 节点同时也充当着 worker 角色可以运行 task 任务。 5 角色转换 manager 节点与 worker 节点角色并不是一成不变的它们之间是可以相互转换的。 manager 转变为 worker 称为节点降级worker 转变为 manager 称为节点升级 1.3 服务架构
1 架构图 2 service 搭建 docker swarm 集群的目的是为了能够在 swarm 集群中运行应用为用户提供具备 更强抗压能力的服务。docker swarm 中的服务 service 就是一个逻辑概念表示 swarm 集群对外提供的服务。 3 task 一个 service 最终是通过任务 task 的形式出现在 swarm 的各个节点中而每个节点中的 task 又都是通过具体的运行着应用进程的容器对外提供的服务。 4 编排器 在 swarm manager 中具有一个编排器用于管理副本 task 任务的创建与停止。例如 当在 swarm manager 中定义一个具有 3 个 task 副本任务的 service 时编排器首先会创建 3个 task为每个 task 分配一个 taskID并通过分配器为每个 task 分配一个虚拟 IP即 VIP。然后再将该 task 注册到内置的 DNS 中。当 service 的某 task 不可用时编排器会在 DNS 中注销该 task。 5 分发器 在 swarm manager 中具有一个分发器用于完成对副本 task 任务的监听、调度等操作。 在前面的例子中当编排器创建了 3 个 task 副本任务后会调用分发器为每个 task 分配节 点。分发器首先会在 swarm 集群的所有节点中找到 3 个 available node 可用节点每个节点 上分配一个 task。而每个 task 就像是一个“插槽”分发器会在每个“插槽”中放入一个应 用容器。每个应用容器其实就是一个具体的 task 实例。一旦应用容器运行起来分发器就 可以监测到其运行状态即 task 的运行状态。 如果容器不可用或被终止task 也将被终止。此时编排器会立即在内置 DNS 中注销该 task然后编排器会再生成一个新的 task并在 DNS 中进行注册然后再调用分发器为之分 配一个新的 available node然后再该节点上再运行应用容器。编排器始终维护着 3 个 task 副本任务。 分发器除了为 task 分配节点外还实现了对访问请求的负载均衡。当有客户端来访问 swarm 提供的 service 服务时该请求会被 manager 处理根据其内置 DNS实现访问的负载均衡。 1.4 服务部署模式
1 官方图 service 以副本任务 task 的形式部署在 swarm 集群节点上。根据 task 数量与节点数量的 关系常见的 service 部署模式有两种replicated 模式与 global 模式。 2 replicated 模式 replicated 模式即副本模式service 的默认部署模式。需要指定 task 的数量。当需要 的副本任务 task 数量不等于 swarm 集群的节点数量时就需要使用 replicated 模式。manager中的分发器会找到指定 task 个数的 available node 可用节点然后为这些节点中的每个节点分配一个或若干个 task。 3 global 模式 global 模式即全局模式。分发器会为每个 swarm 集群节点分配一个 task不能指定 task 的数量。swarm 集群每增加一个节点编排器就会创建一个 task并通过分发器分配到新的 节点上。 2、swarm 集群搭建 2.1 需求 现要搭建一个 docker swarm 集群包含 5 个 swarm 节点。这 5 个 swarm 节点的 IP 与暂 时的角色分配如下注意是暂时的
hostnameIProledocker01192.168.162.201managerdocker02192.168.162.202managerdocker03192.168.162.203managerdocker04192.168.162.204workerdocker05192.168.162.205worker 2.2 克隆主机 克隆两台前面 docker 主机这两台主机名分别为 docker2、docker3、docker4 与 docker5。 克隆完毕后修改如下配置文件 修改主机名/etc/hostname修改网络配置/etc/sysconfig/network-scripts/ifcfg-ens33 vi /etc/hostname #修改主机名vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改网络配置 2.3 启动5个docker宿主机
systemctl start docker 2.4 查看 swarm 激活状态
在任意 docker 主机上通过 docker info 命令可以查看到当前 docker 引擎 Server 端对于 swarm 的激活状态。由于尚未初始化 swarm 集群所以这些 docker 主机间没有任何关系
docker info 2.5 关闭防火墙 # 查看防火墙状态
systemctl status firewalld# 停止防火墙
systemctl stop firewalld# 永久关闭
systemctl disable firewalld 2.6 swarm 初始化
在主机名为“docker01”的主机上运行 docker swarm init 命令创建并初始化一个 swarm。 docker swarm init 2.7 添加 worker 节点
复制 docker swarm init 命令的响应结果中添加 worker 节点的命令在 docker4 与 docker5 节点上运行将这两个节点添加为 worker 节点。docker04和docker05 2.8 添加 manager 节点 1 获取添加命令 若要为 swarm 集群添加 manager 节点需要首先在 namager 节点获取添加命令。
docker swarm join-token manager 2 添加节点 复制 docker swarm join-token 命令生成的 manager 添加命令然后在 docker2 与 docker3 节点上运行将这两个节点添加为 manager 节点。docker02和docker03 3 查看 swarm 节点 在 manager 节点 docker、docker2、docker3 上通过 docker node ls 命令可以查看到当前 集群所包含的节点状态数据。 docker node ls 但在 worker 节点上是不能运行 docker node ls 命令的。 3、swarm 集群维护 3.1 退出 swarm 集群
当一个节点想从 swarm 集群中退出时可以通过 docker swarm leave 命令。不过 worker 节点与 manager 节点的退群方式是不同的。 1 worker 退群 对于 worker 节点退群直接运行 docker swarm leave 命令即可。docker05
docker swarm leave
此时在 manager 节点中查看节点情况可以看到 docker5 已经 Down 了。 2 worker 重新加入 首先在 manager 节点上运行 docker swarm join-token worker 命令生成加入 worker 节点 的命令。
docker swarm join-token worker 复制生成的命令在 docker05 节点上运行将此节点添加到 swarm 集群。
3 查看节点情况 docker01 此时在 manager 节点中查看节点情况可以看到原来的 docker5 依然是 Down但又新 增了一个新的 docker5 节点其状态为 Ready。
docker node ls 此时在 manager 节点通过 docker info 命令可以查看到节点数量变为了 6 个这增加的 一个就是两种状态的 docker5。
4 删除 Down 状态节点 对于Down状态的节点是完全可以将其删除的。通过在manager节点运行docker node rm 命令完成。
docker node rm ID 5 manager 退群 对于 manager 节点原则上是不推荐直接退群的这样会导致 swarm 集群的一致性受 到损坏。如果 manager 执意要退群可在 docker swarm leave 命令后添加-f 或--force 选项进 行强制退群。 3.2 swarm 自动锁定
1 swarm 集群自动锁定原理 在 manager 集群中swarm 通过 Raft 日志方式维护了 manager 集群中数据的一致性。 即在 manager 集群中每个节点通过 manager 间通信方式维护着自己的 Raft 日志。 但在通信过程中存在有一种风险Raft 日志攻击者会通过 Raft 日志数据的传递来访问、 篡改 manager 节点中的配置或数据。为了防止被攻击swarm 开启了一种集群自动锁定功能为 manager 间的通信启用了 TLS 加密。用于加密和解密的公钥与私钥全部都维护在各个节点的 Docker 内存中。一旦节点的 Docker 重启则密钥丢失。 swarm 中通过 autolock 标志来设置集群的自动锁定功能为 true 则开启自动锁定为 false 则关闭自动锁定。 docker info 2 设置自动锁定 在 manager 节点通过 docker swarm update –autolocktrue 命令可以开启当前 swarm 集群 的自动锁定功能。 docker swarm update --autolocktrue 此时查看 manager 的 docker info 可以看到autolock 已经为 true 了。
docker info 3 查看解锁密钥 如果没有保存 docker swarm update --autolocktrue 命令中生成的密钥也可通过在 manager 中运行 docker swarm unlock-key 命令查看。 docker swarm unlock-key 4 关闭一个 manager 直接关闭 docker3 的 docker 引擎模拟一个 manager 宕机的情况。 systemctl stop docker 5 加入 manager 启动 docker3 的 docker 引擎。 systemctl start docker 此时再查看该节点的 docker info可以看到 Swarm 值为 locked即当前节点看到的 Swarm 集群的状态为锁定状态其若要加入必须先解锁。 docker info 在 docker3 中运行 docker swarm unlock 命令解锁 swarm。 docker swarm unlock 此时再查看节点信息该 manager 已经加入。 3.3 注意事项重点
swarm自动锁定一般锁定的是mananger节点manager节点一旦设置开启了自动锁定功能manager节点中的至少保证一台主机启动状态否则如果所有manager节点主机都宕机了那么这个swarm集群也就不复存在了 12.4 swarm 节点维护 12.4.1 角色转换 Swarm 集群中节点的角色只有 manager 与 worker所以其角色也只是在 manager 与worker 间的转换。即 worker 升级为 manager或 manager 降级为 worker。 1 worker 升级为 manager 通过 docker node promote 命令可以将 worker 升级为 manager。例如下面的命令是将 docker4 与 docker5 两个节点升级为了 manager即当前集群中全部为 manager。 docker node promote wmq8o6m1mes2c6xknzfhgr8yb 2 manager 降级为 worker 通过 docker node demote 命令可以将 manager 降级为 worker。例如下面的命令是将 docker2 与 docker3 两个节点降级为了 worker docker node demote 8dtmsmtpg1dlwcn43dj1sk92qdocker node demote x8yitf9zuad9r0g7kmxp6i74g 3 docker node update 变更角色 除了通过 docker node demote|promote 可以变更节点角色外通过 docker node update --role [manager|worker] [node]也可变更指定节点的角色。 以下命令将 docker2 与 docker3 两个节点又变为了 manager。
docker node update --role manager docker02docker node update --role manager docker03 以下命令将 docker4 与 docker5 两个节点又变为了 worker。
docker node update --role worker docker04docker node update --role worker docker05 4.2 节点标签 swarm 可以通过命令为其节点添加描述性标签以方便管理员去了解该节点的更多信息。 1 添加/修改节点标签 通过 docker node update --label-add 命令可以为指定 node 添加指定的 keyvalue 的标签。 若该标签的 key 已经存在则会使用新的 value 替换掉该 key 的原 value。不过需要注意的是若要添加或修改多个标签则需要通过多个--label-add 选项指定。 docker node update --label-add authtiger --label-add emailtigerhhzz163.com docker02 通过 docker node inspect 在查看该节点详情时可看到添加的标签。 docker node inspect docker02 docker node inspect --pretty 可以 key:value 的形式显示信息。 docker node inspect --pretty docker02 2 删除节点标签 通过 docker node update --label-rm 命令可以为指定的 node 删除指定 key 的标签。同样 若要删除多个标签则需要通过多个--label-rm 选项指定要删除 key 的标签。 docker node update --label-rm auth --label-rm email docker02
查看节点详情发现这两个标签已经消失。 4.3 节点删除 manager 节点通过 docker node rm 命令可以删除一个 Down 状态的、指定的 worker 节点。 注意该命令只能删除 worker 节点不能删除 manager 节点。 1 有问题的删除 对于 Ready 状态的 worker 节点是无法直接删除的。
docker node rm rq3ea29miho50jf0wxc9nmdo9对于 manager 节点也是无法删除的。 2 正确的删除 若要删除一个 worker 节点首先要将该节点的 Docker 关闭使该节点变为 Down 状态 然后再进行删除。 关闭 docker2 节点的 Docker 引擎
删除节点
3 强制删除 前面的删除方式有些麻烦其实也可以通过添加-f 选项来实现强制删除。 但对于 manager 节点强制删除也不能删除。
docker node rm –f 命令会使一个节点强制退群而 docker swarm leave 命令是使当前的 docker 主机关闭 swarm 模式。
12.5 swarm 安全(PKI) Docker 内置了 PKIpublic key infrastructure公钥基础设施使得保障发布容器化的业 务流程系统的安全性变得很简单。 12.5.1 TLS 安全保障 Swarm 节点之间采用 TLS 来鉴权、授权和加密通信。 具体来说是当运行 docker swarm init 命令时Docker 指定当前节点为一个 manager 节点。默认情况下manager 节点会生成一个新的 swarm 的 CA 根证书以及一对密钥。同时manager 节点还会生成两个 token一个用于添加 worker 节点一个用于添加 manager 节点。每个 token 包含上了 CA 根证书的 digest 和一个随机密钥。CA 根证书、一对密钥和随机密钥都将会被用在节点之间的通信上。 当有节点加入 Swarm 时需要复制 manager 中相应的 docker swarm join 加入命令并 在该节点中运行。而这个过程主要是通过随机密钥这种对称验证方式保障通信安全的。 一旦节点加入了 Swarm 集群那么它们间的通信全部都是通过 TLS 加密方式进行的。 首先是通过 CA 证书对通信对方的身份进行验证在验证通过后再进行数据通信。而通信的 数据则是通过随机密钥加密过的。 12.5.2 CA 数字证书轮换
1 轮换周期 Swarm 的 CA 数字证书也是有可能被攻击、篡改的。为了保证 swarm 的数字证书的安全 性Swarm 提供了 CA 数字证书轮换机制定期更换 CA 数字证书。默认 swarm 的 CA 数字 证书 90 天轮换一次。 2 指定证书 那么用于轮换的新的 CA 数字证书来自于哪里呢通过 docker swarm ca 命令可以指定外部 CA 数字证书或生成新的 CA 数字证书。无论哪种数字证书变更方式都需要 CA 根证 书的加密/解密。而根证书也是会发生变化的具体见“轮转过程”。 3 轮转过程 当 manager 运行了 docker swarm ca --rotate 命令后会按顺序发生下面的事情 Docker 会生成一个交叉签名cross-signed根证书即新根证书是由旧的根证书签署
生成的这个交叉签名根证书将作为一个过渡性的根证书。这是为了确保节点仍然能够 信任旧的根证书也能使用新的根证书验证签名。
在 Docker 17.06 或者更高版本中Docker 会通知所有节点立即更新根证书。根据 swarm
中节点数量多少这个过程可能会花费几分钟时间。
在所有的节点都更新了新 CA 根证书后manager 会通知所有节点仅信任新的根证书
不再信任旧根证书及交叉签名根证书。
所有节点使用新根证书签发自己的数字证书。 如果直接使用外部的 CA 根证书那么就不存在交叉签名根证书的生成过程直接由运 行docker swarm ca命令的节点通知所有节点立即更新根证书。后续过程与前面的就相同了。 12.6 manager 集群容灾 12.6.1 热备容灾 Swarm 的 manager 节点集群采用的是热备方式来提升集群的容灾能力。即在 manager集群中只有一个处于 leader 状态用于完成 swarm 节点的管理其余 manager 处于热备状 态。当 manager leader 宕机其余 manager 就会自动发起 leader 选举重新选举产生一个新的 manager leader。 12.6.2 容灾能力 manager 集群的 leader 选举采用的是 Raft 算法。Raft 算法是一种比较复杂的一致性算法 具体见后面“Raft 算法”。其选举 leader 的简单思路是所有可用的 manager 全部具有选举 权与被选举权。最终获得过半选票的 manager 当选新的 leader。为了保证一次性可以选举出 新的leader官方推荐使用奇数个manager。但并不是说偶数个manager就无法选举出leader。 12.6.3 容灾模拟 目前是 docker01、docker02、docker03 三个 manager其中 docker01 为 leader。 现在关闭 docker 主机的 docker daemon模拟其宕机。 然后在 docker2 或 docker3 主机上查看当前的节点情况可以看到 docker2 或 docker3 已经成为了新的 leader。 此时如果再使某个 manager 宕机例如使 docker2 的 docker daemon 关闭那么整个 swarm 就会瘫痪。因为剩下的 manager 已经无法达成过半的选票无法选举出新的 leader。 12.7 service 创建 注意service 只能依附于 docker swarm 集群所以 service 的创建前提是swarm 集群 搭建完毕。 12.7.1 创建 service docker service create 命令用于创建 service需要在 manager 中运行。其与创建容器的命 令 docker run 非常类似具有类似的选项。 目前的节点状态如下 现在要在 swarm 中创建一个运行 tomcat:8.5.49 镜像的 service服务名称为 toms包含 3 个副本 task对外映射端口号为 9000。 docker service create --name tomcats --replicas 3 -p 9000:8080 tomcat:8.5.49 12.7.2 查看服务列表 docker service ls 命令用于查看当前 swarm 集群中正在运行的 service 列表信息。一个 swarm 中可以运行多个 service。 docker service ls 12.7.3 查看服务详情 通过 docker service inspect [service name|service ID]命令可以查看指定 service 的详情。 docker service inspect tomcates12.7.4 用户访问服务 当服务创建完毕后该服务也就运行了起来。此时用户就可通过浏览器进行访问了。用 户可以访问 swarm 集群中任意主机。 访问 manager 访问 worker
12.7.5 查看 task 节点 docker service ps [service name|service ID]命令可以查看指定服务的各个 task 所分配的节 点信息。 docker service ps tomcates 可以看到toms 服务的 3 个 task 被分配到了 docker01、docker04、docker05 三个主机。其中 ID 为 task IDNAME 为 task 的 name。task name 是 service name 后添加从 1 开始的流水号形成的。 12.7.6 查看节点 task 通过 docker node ps [node]可以查看指定节点中运行的 task 的信息。默认查看的是当前 节点的 task 信息。 docker node ps docker05 12.7.7 查看服务日志 通过 docker service logs 命令可以查看指定 service 或 task 的日志。通过 docker service logs –f 命令可动态监听指定 service 或 task 的日志。 1 查看 service 日志
通过 docker service logs [service name|service ID]命令可以查看指定 service 的日志。这些 日志实际是所有 task 在节点容器中的运行日志。
docker service logs tomcates 2 查看 task 日志 通过 docker service logs [task ID]命令可以查看指定 task 的日志。注意这里只能指定 taskID不能指定 task name。这些日志实际是指定 task 在节点容器中的运行日志。 docker service logs ID 12.7.8 查看节点容器 在 docker01、docker04、docker05 三个主机中查看正在运行的容器列表可以看到相应的 tomcat 容器。 容器的 NAME 是由 task name 后添加 task ID 形成的。 不过在 docker02、docker03 主机中是没有该服务的 task 容器的。 未完待续
