中核工建设集团有限公司网站,长沙网站定制建设,网站源码酒类,品牌广告语1. 数据中台与DW/BI/DSS
个人认为数据中台本质上是一种新的适配大数据技术发展的新的“数据仓库-决策支持#xff08;商业智能#xff09;”架构。这个架构是构建在传统的架构基础之上#xff0c;对传统架构的一种新的发展。
数据中台从企业的视角出发#xff0c;要求企业…1. 数据中台与DW/BI/DSS
个人认为数据中台本质上是一种新的适配大数据技术发展的新的“数据仓库-决策支持商业智能”架构。这个架构是构建在传统的架构基础之上对传统架构的一种新的发展。
数据中台从企业的视角出发要求企业在构建数据仓库到决策支持系统的过程中构建一个服务型的架构。数据中台希望构建在数据仓库基础上的决策支持系统的建设能更加迅速敏捷缩短业务需求实现过程中的数据开发过程的时间。数据中台把应用的共性需求沉淀在中台做厚数据服务层这样应用前台在构建的时候可以大幅度的利用已沉淀在中台的各种能力可以做到快速搭建形成大中台小前台的层次架构。
1.1. 数据仓库DW/商务智能BI/决策支持DSS
数据仓库之父比尔·恩门Bill Inmon在1991年出版的“Building the Data Warehouse” 《建立数据仓库》一书中所提出的定义被广泛接受数据仓库是一个面向主题的Subject Oriented、集成的Integrate、相对稳定的Non-Volatile、反映历史变化Time Variant的数据集合用于支持管理决策。
数据仓库是一个过程而不是一个项目数据仓库是一个环境而不是一件产品。数据仓库提供用户用于决策支持的当前和历史数据这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称。所做的一切都是为了让用户更快更方便查询所需要的信息提供决策支持。
商业智能Business Intelligence简称BI又称商业智慧或商务智能指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
决策支持系统Decision Support System是一个基于计算机用于支持业务或组织决策活动的信息系统。 DSS服务于组织管理、运营和规划管理层通常是中级和高级管理层并帮助人们对可能快速变化并且不容易预测结果的问题做出决策。决策支持系统可以全计算机化、人力驱动或二者结合。
从概念上来讲BI与DSS都是一组概念的概括性的总称可以有很多定义。从历史沿革上来说先有的决策支持系统利用计算机来辅助人做决策。后续商务智能的发展为决策支持提供了数据分析预测的能力商务智能BI提供的数据分析能力是现代决策支持系统DSS的基石。
概念引用商务智能与分析-决策支持系统 1.2. 先贤的一些词汇与观点的争议
数据仓库行业内容的两位观点部分相左的先贤分别是Bill Inmon与Ralph Kimball。
1.2.1. 定义与用词
在数据仓库支撑的分析型系统的用词上
Bill Inmon-数据仓库是体系结构设计环境的核心是决策支持系统处理的基础。(The data warehouse is the heart of the architected environment, and is the foundation of all DSS processing. )
Ralph Kimball-数据仓库和商业智能(Data Warehousing and Business Intelligence, DW/BI)系统
显然BI与DSS是有区别的但是DW无疑是可以支撑BI和DSS。BI是手段是能力而DSS是BI的目标。
在数据仓库的定义上因为Bill Inmon是数据仓库之父他对数据仓库的定义获得了广泛的认可。而Ralph Kimball并未对数据仓库概念有单独的定义但是从架构与实现上来看其实还是有区别的。
1.2.2. 架构设计
在数据仓库架构的设计上
Bill Inmon - 全局视角要先构建企业级数据仓库然后再基于企业级数据仓库之上去构建数据集市。数据的整合是的企业对数据有一个真正企业范围级的观察业务分析人员是从整体而不是局部进行数据分析。
数据仓库前期的需求是不明确的业务人员是先要看到数据再去构建探索真实需求所以数据仓库是不断的迭代构建。采用3RD模型来构建一个企业级的业务模型确保数据的完整性与一致性。
Ralph Kimball -需求视角以业务需求驱动面向分析。事实要构建在最细的粒度上不同的业务需求之间靠一致性维度来确保数据的一致性。
DW/BI架构辐射状企业信息工厂CIF混合辐射状企业信息工厂与KimBall架构从上面几张图上我们可以看到之所以在Kimball的书中会有与Inmon组合的混合架构是因为这几张架构图中的层次基本是一致的。而Kimball架构中并未去描述如何去做数据的规范化、完整性、一致性只是要去做而Inmon的架构中恰好可以实现这个部分。对于后面数据展现区的数据模型又都一致的认为是以维度模型来建模。
从实际构建方式上来看Bill Inmon架构强调数据仓库应该是统一构建业务模型是企业级的。这个出发点是更具有宏观意义假设企业有30个交易系统建设的时候就需要都纳入需求分析范围然后按需分阶段完成企业级的数据仓库模型。Ralph Kimball架构强调以业务需求为导向构建维度模型后续的需求只要确保整个企业范围内一致性维度就可以构建更加高效的数据仓库。Ralph Kimball认为Bill Inmon的架构太过于庞大可能会让企业投入巨大但是看不到回报。而Bill Inmon则认为维度模型构建的数据仓库很容易变成松散的多个不一致的数据集市。虽然Ralph Kimball也强调独立集市架构是不可取的。
其实综合实践与现实中数据仓库的案例来看在以Teradata\IBM\Oracle等公司构建的企业级的数据仓库架构全部都是以Bill Inmon的架构来构建了一个3RD的企业级的数据仓库模型并且在一些规模宏大的银行、保险、电信等行业取得了比较巨大的成功。尤其是国内Teradata的金融模型几乎占据了国内全部的大银行、保险机构的市场。而Ralph Kimball的架构在银行、电信、零售电商等行业也是受到了广泛的好评。
这两种架构各有千秋各有侧重。并且从两位先贤相互指责的问题来看问题都是真实存在的。Ralph Kimball架构虽然强调不能建设成独立集市架构要采用全局一致性维度但是业务部门分头建设且以需求为导向的结构很容易失控就走成独立集市架构。Bill Inmon的架构因为有一层数据仓库层从机能上就会去协调避免这种情况的产生。但是Bill Inmon的架构因为构建投入巨大也只是在金融业获得了巨大的成功。在一些业务相对简单规模不大的客户场景中因为交易型系统本身就是3RD模型所以本身并没有需求再去构建一个数据仓库的3RD模型ODS系统就基本替代的这一层。
在数据集市、数据应用的分析型场景中Ralph Kimball与Bill Inmon都应该使用维度模型来构建。
1.3. 综合的选择
从Bill Inmon与Ralph Kimball的书中我们可以看到两位先贤的观点。个人认为在不同的场景可以有不同的选择在业务复杂、业务变化不频繁、数据仓库上游的交易型系统特别多、能接受足够长时间大投入的企业级数仓建设的场景Inmon的架构或者说是CIF与DW/BI混合架构显然是更好的选择这种架构更加宏观且具有企业级视角只有在这种视角下才能实现数据中台的设计目标。而在业务模型简单、业务变化频繁、难以接受企业级架构构建的时间成本的场景最好使用DW/BI架构。
如果可以放眼眼前的数据仓库的案例就会发现这是一种比较现实的选择。
原文链接
本文为阿里云原创内容未经允许不得转载。
