网站广告网络推广价格低,梅州建站规划,网站建设与管理大作业,wordpress 网店模板炎凰对华为云的需求 在炎凰日常的开发中#xff0c;对于服务器上的需求#xff0c;我们基本都是采用云服务。目前我们主要选择的是华为云#xff0c;华为云的云主机比较稳定#xff0c;提供的云主机配置也比较多样#xff0c;非常适合对于不同场景硬件配置的需求#xff…炎凰对华为云的需求 在炎凰日常的开发中对于服务器上的需求我们基本都是采用云服务。目前我们主要选择的是华为云华为云的云主机比较稳定提供的云主机配置也比较多样非常适合对于不同场景硬件配置的需求而且在技术支持服务上响应速度也非常快。 一般来说我们主要会采购一些包年的云主机来满足日常的研发和测试。但是同事们也会碰到一些adhoc的需求比如对于用户碰到的问题我们需要在一个实验环境复现它们我们会临时开几台云主机来模拟客户的环境。 随着炎凰数据的员工越来越多这样临时创建机器的需求也越来越多。我们发现华为云的API在功能上非常完整且华为云的API Explorer是个非常方便的Debug和测试的工具。于是我们通过API快速地开发了Ichiban这是一个内部创建云主机的工具。 炎凰Ichiban简介 为什么叫Ichiban因为炎凰有啤酒文化公司的冰箱中除了饮料更放满了各种各样的精酿啤酒我们每周五都会有技术分享会同时也是一周一度的Happy hour啤酒食物无限量供应。所以我觉得Ichiban烤串是我们炎凰程序员的夏天必备随时欢迎来炎凰喝啤酒~ 首先Ichiban的登录界面是下图这样。因为我们使用Microsoft Azure AD来管理我们员工的账号所以我们调用微软的API来进行登录并记录和管理用户信息。 登录后就可以看到创建的云主机信息。 从这一层开始都调用华为云的API来实现功能上包括了 创建云主机
云主机开机、关机、重启、远程登录和删除
延长云主机租期
增加硬盘等等 Ichiban 的技术栈 我们使用的是华为云的Python SDK这里不得不再次称赞华为云的API Explorer是个能够提供快速开发功能的工具能够根据你键入的值自动生成代码。 之后也可以使用华为云提供的‘SDK代码示例调试’中调试代码而且是我们都熟悉的VS Code的风格。截个图自己体会常使用VS Code开发的朋友是不是很熟悉 因为我们使用Python作为开发语言所以用了 Flask Gunicorn Supervisor 来托管Web服务。 Flask 因为本身就是Python编写所以对Python的契合度就很高而且是一个轻量级的Web应用框架。 Gunicorn 是作为Flask的WSGI HTTP服务器。它所在的位置通常是在反向代理如 Nginx或者负载均衡如 AWS ELB和一个web应用比如 Django 或者 Flask之间。 这里只要把Flask 的5000端口托管起来即可配置如下 Supervisor 的服务进程为supervisord主要用来在启动自身时启动管理的子进程响应客户端的命令重启崩溃或退出的子进程记录子进程stdout和stderr输出生成和处理子进程生命周期中的事件。可以在一个配置文件中配置相关参数包括Supervisord自身的状态。在/etc/supervisord.d/xxxxx.ini 创建子进程其管理的各个子进程的相关属性。配置文件一般位于/etc/supervisord.conf。 例如子进程配置/etc/supervisord.d/ichiban.ini Supervisor 的客户端称为supervisorctl它提供了一个类shell的接口即命令行来使用supervisord服务端提供的功能。通过supervisorctl用户可以连接到supervisord服务器进程获得服务器进程控制的子进程的状态启动和停止子进程获得正在运行的进程列表。 客户端通过Unix域套接字或者TCP套接字与服务端进行通信服务器端具有身份凭证认证机制可以有效提升安全性。当客户端和服务器位于同一台机器上时客户端与服务器共用同一个配置文件/etc/supervisord.conf通过不同标签来区分两者的配置。 重启进程时可以运行 鸿鹄收集来华为云的数据 问题来了。。。 Ichiban的代码我们写好了功能实现了解决了开发者使用云主机的问题但是作为ichiban的管理者我也碰到了问题我该如何管理我如何知道我每月消费了多少费用以及详细的使用情况 设想下随着公司同事越来越多ichiban的使用量必然会增长费用也会增长。老板问能不能每月或者一个季度对Ichiban做个预算这时候没有数据的支撑我们很难拿出数字来做下一次的预算。 这时鸿鹄的价值就凸显出来了鸿鹄能够帮助我们通过日志文件非常简单而又清晰地统计出云主机的开机时间、云主机的数量、进而估算出费用。 Ichiban的日志是调用华为云的API生成的JSON格式的日志文件然后通过fluentd发送到鸿鹄的平台。(也可以使用Vector作为数据传输工具)。本例中log的数据类型为JSON其实大家可以根据自己的实际情况选择不同的数据类型。鸿鹄不挑数据类型有什么数据就接什么类型的数据就Parse什么类型的数据。 鸿鹄端 加了台便宜的云主机按照文档(https://yanhuang.yuque.com/books/share/b1b27937-e331-40fd-bce1-bd521af4e662/vvv9si)一顿操作安装好了鸿鹄。那只蓝色鸿鹄的logo就出现了。 在鸿鹄中创建HEI通过HTTP采集数据 颁发Ichiban的API Token Ichiban端 安装Fluentd 配置fluentd的监控数据 修改以下配置 可能需要配置fluentd service的root权限视监控的文件权限而定 收到数据了哟吼。。。 华为云使用状况的dashboard展示 通过简单的SQL query我们就可以实时的统计出Ichiban的使用情况。 我这里也节选了一些配置的使用情况 数据展示我看到了什么 华为云使用情况。作为华为云的管理者我能清晰地了解一段时间中华为云Adhoc的需求有多少比如用了多少台云主机分别用了多少时间。 使用者。从统计上可以找到谁是重度使用者从使用者中了解需求从而优化。 费用统计。如上图我们可以清楚地知道我们每个月华为云的费用组成。不过实话实说通过临时创建机器这种策略我们减少了很多不必要的费用。 写在最后 华为云的API和相关工具做的很好功能也很快就能够实现。但是对于管理者费用上的管理和运维工作也存在着挑战。不过有了鸿鹄这一切就变的简单了很多只要有足够的日志加上简单的SQL语句让管理者头疼的问题就迎刃而解。 另外通过实时数据的分析也能快速找到一些问题比如我们可以对云主机的开机时间加上告警假设张三的一个云主机开了很长一段时间有可能项目上的需要也有可能某某忘记关闭了。那通过策略发出告警(Email或者Webook)对张三进行通知减少不必要的费用。 我们还有很多东西要做 展望下我们Ichiban的后续开发还会继续做把Ichiban、华为云和我们的CICD串联在了一起通过华为云的API创建出临时的git runner、test runner 等再通过鸿鹄监控CI/CD好处 1、鸿鹄能够帮助troubleshooting CI/CD的问题。
2、将CI/CD的运行状况放在仪表盘中。
3、减少不必要的费用比如我们可能某个测试要跑8个小时有可能在某一小时是Case就中断了鸿鹄能够提醒我们我们可以通过手动或者trigger 脚本对已经没有工作任务的runner进行删除。 一旦数据接入到鸿鹄数据可玩性的大门就打开了只要通过简单SQL就可以发现很多有趣的东西甚至是你从来没想到过的东西可能是一个强大功能的启发也有可能是发现漏洞的检测器。几行SQL就可以把你的数据弄得明明白白。 enjoy 鸿鹄~
大数至简 参考 华为云API
https://apiexplorer.developer.huaweicloud.com/apiexplorer/doc?productECSapiNovaCreateServers Supervisor的文档
https://zhuanlan.zhihu.com/p/424346764 炎凰数据
http://www.yanhuangdata.com/
