网站建设项目前景,凡科小程序好用吗,淄博展厅设计公司,外贸网站如何做外链1、HBase Ganos是什么
Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合#xff0c;建立了以自研云原生数据库POALRDB为基础#xff0c;联合NoSQL大数据平台#xff08;Ali-HBASE和X-Pack Spark#xff09;的完整时空地理信息云化管…1、HBase Ganos是什么
Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合建立了以自研云原生数据库POALRDB为基础联合NoSQL大数据平台Ali-HBASE和X-Pack Spark的完整时空地理信息云化管理解决方案。
HBase Ganos是为PB级分布式、大规模时空数据管理而生主打NoSQL时空大数据处理能力兼容HBase、Spark、GeoMesa、GeoServer等广泛开源生态内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等可广泛应用于空间/时空/遥感大数据存储、查询、分析与数据挖掘场景。 2、新版本重要特性
全球首发时空栅格引擎云服务支撑航天航空遥感云计算与智能化发展
对地观测技术的快速发展正促使遥感应用走向在线化和服务化。全新的云上时空栅格数据引擎面向未来遥感大数据云端智能分析计算需求而设计采用了极为灵活的时空数据组织方式在保留多时相、多分辨率且每一寸像素光谱信息的同时兼顾传统遥感应用的快速浏览需求。引擎内置的ETL工具可以打通OSS、HBase、POLARDB/PG等数据存储产品支持栅格数据的全自动化快速入库包含投影转换、数据分块和索引创建等。栅格数据存储组织支持多种模式常用的包括全球标准格网剖分和本地坐标系格网剖分见下图。 此外2.5版本发布全新的时空Cover数据模型。Cover模型物理上维护每一幅遥感影像的独立性同时支持海量遥感影像基于时相和空间条件的动态拼接逻辑上实时生成时空动态一张图为遥感智能化分析计算应用提供强大数据模型支撑。 与X-Pack Spark、 GeoTools集成提供兼容OGC标准的空间数据访问接口
2.5版本提供了更全面的访问方式包括基于GeoTools API的访问、支持GeoJson作为时空数据结构的REST API、以及空间GeoSQL支持可最大程度兼容不同用户需求。其中Ganos Spark模块提供了一系列UDF空间算子实现了基于OGC标准的GeoSQL的空间数据查询例如 这些空间算子主要包括Geometry Constructors函数、Geometry Accessors函数、Geometry Cast函数、Geometry Editors函数、Geometry Outputs函数、Spatial Relationships函数以及Geometry Processing函数等算子功能将按需扩展。 支持时空几何、时空轨迹数据建模成本、性能获得综合优化
2.5版本支持丰富的时空几何数据、时空轨迹数据建模数据类型包括点、线、面等时空对象。在此基础上还提供了完备的时空模型操作能力既可以支持空间范围查询也支持“时间空间”的多维查询。 在性能优化方面采用了空间谓词下推技术查询时可将空间过滤条件下推到存储层执行从而减少I/O开销降低查询时延。另外结合阿里云X-Pack可构建强大的时空分析平台借助空间分区、分区索引、基于内存索引以及Fast Spatial Jion等性能优化手段可大幅提高查询分析性能。
在成本控制方面针对时空数据写入膨胀的问题新版本在索引生成、时空模型编码、冷热分离存储等方面进行了全面优化。在索引生成阶段对索引的控制力度更细可按需建立索引在时空编码方面使用了TWKB编码同时用户可指定写入数据的精度减少数据的存储长度在冷热分离存储方面借助阿里云OSS存储可使得存储成本下降70%以上。
3、典型应用场景
航天航空遥感应用
对地观测、商业航天、无人机测绘等快速发展积累了大量的遥感影像数据。数据规模的不断扩大给数据时空化组织以及大数据和智能化应用带来了极大挑战。未来需要探索数据在线、应用能力在线、用户购买服务模式。Ganos可以为云平台商、卫星数据厂商、平台服务商等构建遥感智能化大数据云平台提供时空云基础设施支撑解决最底层关键技术并在传统编目化管理和切片化应用基础上获得全新架构的快速演进从而在遥感智能化浪潮中聚焦业务并获得先机。
互联网出行
互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。以供需预测为例基于对历史轨迹数据的分析并结合实时订单数据预测当前订单密集区域的分布提高接单概率并减少司机空驶时间。这背后涉及到大量时空型数据和业务信息的快速读取并结合业务算法进行预测利用HBase Ganos可有力支持该业务场景。
传感网与实时GIS
在环保、气象、水利、航海航空监测等领域需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标比如污染监测、水位监测、降雨量监测、航标监测等。HBase Ganos可以为构建实时GIS大数据应用提供稳定、可靠、弹性、免运维的PaaS服务为地理国情常态化监测和智慧城市建设提供基础平台。
车联网
海量的车辆终端在不断地产生轨迹数据轨迹数据包含了时间和空间位置。利用HBase Ganos实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外还可以进行时空查询如查询某段时间的轨迹某段时间进入该区域的车辆等。结合大数据分析框架如Spark还可以进行穿越分析、区域分布热力图等。
智慧物流与外卖递送
在物流与外卖等领域需要实时监控车辆、骑手的位置以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报云端需要处理高并发写入并进行实时路径规划、偏航监测等计算背后都需要大量的时空计算。
4、典型案例架构
航海船舶大数据平台
场景全球AIS船舶实时位置数据每天上亿条轨迹写入要求轨迹时空/时序查询秒级响应具体包括 • 监管区域实时地理围栏判断 • 轨迹区域回放指定区域指定时间段 • 轨迹回放指定时间段查询。 架构说明 • AIS等数据经过Spark平台清洗、融合完成后构建数仓 • 对外提供查询的数据存储到HBase Ganos中可供前端各类应用进行时空查询如地理围栏、轨迹回放等 • 整体系统的查询时间在毫秒级数据清洗在分钟级。 位置服务平台
场景实时采集车辆设备轨迹40万终端设备3万轨迹点/秒峰值对外提供实时位置查询、地理围栏、轨迹相似度判断等服务 架构说明 • 利用POLARDB Ganos的MOD移动对象数据库保存业务、GIS和行程轨迹现势数据而HBase Ganos保留所有历史轨迹库 • 当历史数据量较大时可通过冷数据自动转储功能将数据存放到OSS中减少70%以上的成本 • 百亿量级的轨迹查询比如查询某段时间、某空间范围内经过的轨迹只需亚秒级 与X-Pack Spark平台无缝衔接可以提供类似轨迹相似度、OD分析等强大功能。 遥感大数据管理与智能服务平台
场景完全在线化大规模遥感影像数据入库、查询、分析和AI智能服务。 痛点 • 遥感影像数据体量大且增量快存储、计算扩展不灵活 • 以原始文件为单位管理模式粗放数据结构不统一上层调用复杂 • 传统静态切片方式管理显示速度快但光谱信息丢失无法有效支撑实时分析场景和AI场景 • 多源空间数据融合查询分析困难。 架构说明 • 原始数据采用OSS高性价比存储冷热分离 • 影像数据库采用SQLNoSQL构建时空序列影像容量无上限存储与计算分离极致弹性 • 数据完全结构化存储和组织保留原始像元信息有效支撑各类分析计算场景 • 与X-Pack Spark集成ETL与多源空间数据分析处理更便捷可进一步集成阿里天巡平台实现遥感AI能力集成。 原文链接 本文为云栖社区原创内容未经允许不得转载。
