网站商城app建设方案,食品包装设计价格,室内设计图制作软件,做设计网站的工作内容数据仓库的目的是构建面向分析的集成化数据环境#xff0c;为企业提供决策支持#xff08;Decision Support#xff09;。其实数据仓库本身并不“生产”任何数据#xff0c;同时自身也不需要“消费”任何的数据#xff0c;数据来源于外部#xff0c;并且开放给外部应用为企业提供决策支持Decision Support。其实数据仓库本身并不“生产”任何数据同时自身也不需要“消费”任何的数据数据来源于外部并且开放给外部应用这也是为什么叫“仓库”而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程可以分为三层——源数据、数据仓库、数据应用从图中可以看出数据仓库的数据来源于不同的源数据并提供多样的数据应用数据自上而下流入数据仓库后向上层开放应用而数据仓库只是中间集成化数据管理的一个平台。数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL抽取Extra, 转化Transfer, 装载Load的过程ETL是数据仓库的流水线也可以认为是数据仓库的血液它维系着数据仓库中数据的新陈代谢而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。 下面主要简单介绍下数据仓库架构中的各个模块当然这里所介绍的数据仓库主要是指网站数据仓库。数据仓库的数据来源对于网站数据仓库而言点击流日志是一块主要的数据来源它是网站分析的基础数据当然网站的数据库数据也并不可少其记录这网站运营的数据及各种用户操作的结果对于分析网站Outcome这类数据更加精准其他是网站内外部可能产生的文档及其它各类对于公司决策有用的数据。数据仓库的数据存储源数据通过ETL的日常任务调度导出并经过转换后以特性的形式存入数据仓库。其实这个过程一直有很大的争议就是到底数据仓库需不需要储存细节数据一方的观点是数据仓库面向分析所以只要存储特定需求的多维分析模型另一方的观点是数据仓库先要建立和维护细节数据再根据需求聚合和处理细节数据生成特定的分析模型。我比较偏向后面一个观点数据仓库并不需要储存所有的原始数据但数据仓库需要储存细节数据并且导入的数据必须经过整理和转换使其面向主题。简单地解释下 (1).为什么不需要所有原始数据数据仓库面向分析处理但是某些源数据对于分析而言没有价值或者其可能产生的价值远低于储存这些数据所需要的数据仓库的实现和性能上的成本。比如我们知道用户的省份、城市足够至于用户究竟住哪里可能只是物流商关心的事或者用户在博客的评论内容可能只是文本挖掘会有需要但将这些冗长的评论文本存在数据仓库就得不偿失 (2).为什么要存细节数据细节数据是必需的数据仓库的分析需求会时刻变化而有了细节数据就可以做到以不变应万变但如果我们只存储根据某些需求搭建起来的数据模型那么显然对于频繁变动的需求会手足无措 (3).为什么要面向主题面向主题是数据仓库的第一特性主要是指合理地组织数据以方面实现分析。对于源数据而言其数据组织形式是多样的像点击流的数据格式是未经优化的前台数据库的数据是基于OLTP操作组织优化的这些可能都不适合分析而整理成面向主题的组织形式才是真正地利于分析的比如将点击流日志整理成页面Page、访问Visit或Session、用户Visitor三个主题这样可以明显提升分析的效率。 数据仓库基于维护细节数据的基础上在对数据进行处理使其真正地能够应用于分析。主要包括三个方面数据的聚合 这里的聚合数据指的是基于特定需求的简单聚合基于多维数据的聚合体现在多维数据模型中简单聚合可以是网站的总Pageviews、Visits、Unique Visitors等汇总数据也可以是Avg. time on page、Avg. time on site等平均数据这些数据可以直接地展示于报表上。多维数据模型 多维数据模型提供了多角度多层次的分析应用比如基于时间维、地域维等构建的销售星形模型、雪花模型可以实现在各时间维度和地域维度的交叉查询以及基于时间维和地域维的细分。所以多维数据模型的应用一般都是基于联机分析处理Online Analytical Process, OLAP的而面向特定需求群体的数据集市也会基于多维数据模型进行构建。业务模型 这里的业务模型指的是基于某些数据分析和决策支持而建立起来的数据模型比如我之前介绍过的用户评价模型、关联推荐模型、RFM分析模型等或者是决策支持的线性规划模型、库存模型等同时数据挖掘中前期数据的处理也可以在这里完成。数据仓库的数据应用报表展示 报表几乎是每个数据仓库的必不可少的一类数据应用将聚合数据和多维分析数据展示到报表提供了最为简单和直观的数据。即席查询 理论上数据仓库的所有数据包括细节数据、聚合数据、多维数据和分析数据都应该开放即席查询即席查询提供了足够灵活的数据获取方式用户可以根据自己的需要查询获取数据并提供导出到Excel等外部文件的功能。数据分析 数据分析大部分可以基于构建的业务模型展开当然也可以使用聚合的数据进行趋势分析、比较分析、相关分析等而多维数据模型提供了多维分析的数据基础同时从细节数据中获取一些样本数据进行特定的分析也是较为常见的一种途径。数据挖掘 数据挖掘用一些高级的算法可以让数据展现出各种令人惊讶的结果。数据挖掘可以基于数据仓库中已经构建起来的业务模型展开但大多数时候数据挖掘会直接从细节数据上入手而数据仓库为挖掘工具诸如SAS、SPSS等提供数据接口。元数据管理元数据Meta Date其实应该叫做解释性数据即描述数据的数据。主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库Metadata Repository来统一地存储和管理元数据其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。 最后做个Ending数据仓库本身既不生产数据也不消费数据只是作为一个中间平台集成化地存储数据数据仓库实现的难度在于整体架构的构建及ETL的设计这也是日常管理维护中的重头而数据仓库的真正价值体现在于基于其的数据应用上如果没有有效的数据应用也就失去了构建数据仓库的意义。欢迎关注老子爱你们。
