唐山网站建设托管,潜江网站建设,python从入门到实践,做微信公众平台的网站吗一个Flink任务只能并行处理一个或少数几个数据流#xff0c;而XL-LightHouse一个任务可以并行处理数万个、几十万个数据流#xff1b;
一个Flink任务只能实现一个或少数几个数据指标#xff0c;而XL-LightHouse单个任务就能支撑大批量、数以万计的数据指标。 1、XL-LightHo…一个Flink任务只能并行处理一个或少数几个数据流而XL-LightHouse一个任务可以并行处理数万个、几十万个数据流
一个Flink任务只能实现一个或少数几个数据指标而XL-LightHouse单个任务就能支撑大批量、数以万计的数据指标。 1、XL-LightHouse 1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了 2、再也不需要疲于应付对个人价值提升没有多大益处的数据统计需求了能够帮助您从琐碎反复的数据统计需求中抽身出来从而专注于对个人提升、对企业发展更有价值的事情 3、轻松帮您实现任意细粒度的监控指标是您监控服务运行状况排查各类业务数据波动、指标异常类问题的好帮手 4、培养数据思维辅助您将所从事的工作建立数据指标体系量化工作产出做专业严谨的职场人创造更大的个人价值
2、流式统计虽然是属于流式计算的一种计算形式 流式统计无外乎Count运算、Sum运算、Bitcount运算(count distinct)、Max运算、Min运算、Avg运算、Seq运算(时序数据)、Dimens运算(维度划分)、Limit运算(topN/lastN) 3、Flink用于流式统计存在缺陷
3-1、资源利用率低
Flink的资源利用率低要从两个角度来看一个是集群运行的拓扑结构另一个是Flink任务执行的特性。
3-2、运算性能低
3-3、接入成本较高
1、Flink面向专业的大数据研发人员大量统计指标的实现需要耗费大量的研发成本。 2、由于Flink自身在流式统计领域的基础功能并不完善所以很多场景下都需要研发人员依据统计任务的数据量、统计周期的粒度、数据倾斜状况等因素进行特定的优化。所以使用Flink实现很多相类似的功能由于数据量差异、统计周期的不同程序的实现方式也可能截然不同
3-4、运维成本高、运算资源成本高
对比XL-LightHouseFlink的运维成本更高体现在几个方面 1、实现相同的流式统计需求Flink集群规模要明显大于XL-LightHouse的集群规模导致运维成本增加。 2、由于Flink集群面向专业的研发人员Flink集群的运转是由集群维护人员和Flink任务的研发人员共同参与如果集群要进行版本升级、集群扩容、日常维护、数据迁移等操作均需要与研发人员事先沟通、达成默契很多类似版本升级的操作会涉及相关任务的升级改造。如果集群规模庞大、涉及研发人员、相关任务较多的话那这个过程也必然会耗费了较大的维护成本 4、ClickHouse用于流式统计存在缺陷 ClickHouse适用场景的特点 1单个或较少数量的应用场景且每个应用场景都有海量的数据 2业务场景有大量的维度字段可能需要按照十几个甚至几十个以上的维度随意组合进行多维度即席查询操作 3业务场景有明细查询的需求 4不同数据源之间可能有join查询的需求 ClickHouse的缺点 1由于每次查询都需要遍历海量数据所以并发度支持有限 2由于系统内存储着海量的明细数据集群规模庞大、结构复杂维护成本高昂 3每次查询都要遍历数据进行实时统计运算需要耗费的大量的内存和CPU资源 4数据接入需要进行各种层面的优化使用门槛较高、面向专业的大数据研发人员使用 5接入成本高、维护成本高、服务器成本高使用门槛高对中小企业不太友好
5、XL-LightHouse的特性
1可以支持高并发查询统计结果
2不支持明细查询如果想要支持明细查询需要借助于其他工具实现
3不支持明细查询如果想要支持明细查询需要借助于其他工具实现 6、应用场景统计
点击量 1、每5分钟_点击量 2、每5分钟_各ICON_点击量 3、每小时_点击量 4、每小时_各ICON_点击量 5、每天_总点击量 6、每天_各Tab_总点击量 7、每天_各ICON_总点击量
点击UV: 1、每5分钟_点击UV 2、每小时_点击UV 3、每小时_各ICON_点击UV 4、每天_总点击UV 5、每天_各ICON_总点击UV
支付成功订单数据统计
订单量 1、每10分钟_订单量 2、每10分钟_各商户_订单量 3、每10分钟_各省份_订单量 4、每10分钟_各城市_订单量 5、每小时_订单量 6、每天_订单量 7、每天_各商户_订单量 8、每天_各省份_订单量 9、每天_各城市_订单量 10、每天_各价格区间_订单量 11、每天_各应用场景_订单量
交易金额 1、每10分钟_成交金额 2、每10分钟_各商户_成交金额top100 3、每10分钟_各省份_成交金额 4、每10分钟_各城市_成交金额 5、每小时_成交金额 6、每小时_各商户_成交金额 7、每天_成交金额 8、每天_各商户_成交金额 9、每天_各省份_成交金额 10、每天_各城市_成交金额 11、每天_各应用场景_成交金额
下单用户数 1、每10分钟_下单用户数 2、每10分钟_各商户_下单用户数 3、每10分钟_各省份_下单用户数 4、每10分钟_各城市_下单用户数 5、每小时_下单用户数 6、每天_下单用户数 7、每天_各商户_下单用户数 8、每天_各省份_下单用户数 9、每天_各城市_下单用户数 10、每天_各价格区间_下单用户数 11、每天_各应用场景_下单用户数 资讯类场景使用演示 dtstep.com/archives/4262.html电商类场景使用演示 dtstep.com/archives/4286.html即时通讯类场景使用演示 dtstep.com/archives/4291.html技术类场景使用演示 dtstep.com/archives/4298.html
项目地址
https://github.com/xl-xueling/xl-lighthouse
https://github.com/xl-xueling/xl-lighthouse.git
https://gitee.com/mirrors/XL-LightHouse.git 参考文档
1、项目介绍
dtstep.com/archives/4455.html
2、Git地址
https://github.com/xl-xueling/xl-lighthouse.gitxl-lighthouse: XL-LightHouse是一套支持大数据量、支持超高并发的通用型流式大数据统计平台常见的应用场景比如PV、UV统计电商销售额统计、日志数据统计、接口调用量、耗时情况等统计支持多维度统计支持各种复杂的条件筛选和逻辑判断一键部署一行代码接入轻松实现各种海量数据实时统计帮助企业以更低的成本快速搭建起数据指标体系是企业降本增效的好帮手
3、交流社区
DTStep
4、项目设计
dtstep.com/archives/4227.html
5、一键部署
dtstep.com/archives/4257.html
6、XL-Formula使用
dtstep.com/archives/4215.html
7、Web服务操作说明
dtstep.com/archives/4233.html
8、Hello World
dtstep.com/archives/4301.html
9、适用场景
资讯类场景使用演示 dtstep.com/archives/4262.html电商类场景使用演示 dtstep.com/archives/4286.html即时通讯类场景使用演示 dtstep.com/archives/4291.html技术类场景使用演示 dtstep.com/archives/4298.html
10、版权声明
dtstep.com/archives/4206.html
11、使用反馈
dtstep.com/community/ldp-issue
12、依赖组件
dtstep.com/archives/4445.html
