做网站如何容易被百度抓取,跨境电商的基本流程,网页设计公司金华,临桂住房和城乡建设局网站文章目录 1#xff0e;定义范围2#xff0e;确定需求3#xff0e;逻辑设计1#xff09;建立需要的数据列表2#xff09;识别数据源3#xff09;制作实体关系图 4#xff0e;物理设计1#xff09;性能优化2#xff09;数仓的拓展性 5#xff0e;装载数据6#xff0e;… 文章目录 1定义范围2确定需求3逻辑设计1建立需要的数据列表2识别数据源3制作实体关系图 4物理设计1性能优化2数仓的拓展性 5装载数据6访问数据7管理维护 实施一个数据仓库项目的主要步骤是 定义项目范围收集并确认业务需求和技术需求逻辑设计物理设计从源系统向数据仓库装载数据使数据可以被访问以辅助决策管理和维护数据仓库 1定义范围
项目范围定义了一个数据仓库项目的边界。典型的范围定义是组织、地区、应用、业务功能的联合表示。
定义范围时通常需要权衡考虑资源人员、系统、预算等、进度项目的时间和里程碑要求、功能数据仓库承诺达到的能力三方面的因素。
项目范围是设定正确的期望值、评估成本、估计风险、制定开发优先级的依据。 2确定需求
数据仓库项目的需求可以分为业务需求和技术需求。
1定义业务需求 建立数据仓库的主要目的是为组织赋予从全局访问数据的能力。数据的粒度必须能够满足用户执行分析的需求并且数据应该被表示为用户能够理解的业务术语。对数据仓库中数据的分析将辅助业务决策数据仓库的设计者应该清楚业务用户是如何做决策的在决策过程中提出了哪些问题以及哪些数据是回答这些问题所需要的。在为数据仓库收集需求的过程中还要考虑设计要能适应需求的变化。 2定义技术需求 数据来源 数据仓库的数据来源是操作型系统这些系统日复一日地处理着各种事务活动。操作型系统大都是联机事务处理系统。数据仓库会从多个操作型源系统抽取数据。ETL 操作型系统里的数据需要一个中间处理过程这就是所谓的ETL过程。需要知道如何清理操作型数据如何移除垃圾数据如何将来自多个源系统的相同数据整合在一起。数据的更新频率 例如如果需要进行长期的或大范围的数据分析可能就不需要每天装载数据而是每周或每月装载一次。注意更新频率并不决定数据的细节程度每周汇总的数据有可能每月装载。 3逻辑设计
接着进行逻辑设计需要定义特定数据的具体内容数据之间的关系支持数据仓库的系统环境等本质是发现逻辑对象之间的关系。
1建立需要的数据列表 很多情况下为了得到所需的全部数据需要适当扩展用户需求或者预测未来的需要一般从主题域涉及的业务因素入手。 例如销售主题域的业务因素可能是客户、地区、产品、促销等。然后建立每个业务因素的元素列表依据也是用户提出的需求。最后通过元素列表标识出业务因素之间的联系。 这些工作完成后应该已经获得了如下的信息 原始的或计算后的数据元素列表数据的类型合理的数据分组比如国家、省市、区县等分成一组因为它们都是地区元素数据之间的关系比如国家、省市、区县的包含关系等。 2识别数据源
现在已经有了需要的数据列表现在考虑从哪里可以得到这些数据以及要得到这些数据需要多大的成本。需要把上一步建立的数据列表映射到操作型系统上。
从哪里获取
应该从最大最复杂的源系统开始在必要时再查找其他源系统。数据的映射关系可能是直接的或间接的比如销售源系统中商品的单价和折扣价可以直接获得而折扣百分比就需要计算得到。 通常维度模型中的维度表可以直接映射到操作型源系统而事实表的度量则映射到源数据在特定粒度级别上聚合计算后的结果。 成本
某些数据的获得需要较高的成本例如用户想要得到促销相关的销售数据就不那么容易因为促销期的定义从时间角度看是不连续的。 3制作实体关系图 逻辑设计的交付物是实体关系图entity-relationship diagram简称ERD和对它的说明文档数据字典。实体对应关系数据库中的表属性对应关系数据库中的列。 在维度模型的ERD中实体由事实表和维度表组成关系体现为在事实表中引用维度表的主键。因此先要确认哪些信息属于中心事实表哪些信息属于相关的维度表。维度模型中表的规范化级别通常低于关系模型中的表。 4物理设计
物理设计指的是将逻辑设计的对象集合转化为一个物理数据库包括所有的表、索引、约束、视图等。
1性能优化
比较通用的数据仓库优化方法有位图索引和表分区。
位图索引对索引列的每个不同值建立一个位图。 和普通的B树索引相比位图索引占用的空间小创建速度快。 但由于并发的DML操作会锁定整个位图段的大量数据行所以位图索引不适用于频繁更新的事务处理系统而数据仓库对最终用户来说是一个只读系统其中某些维度的值基数很小这样的场景非常适合利用位图索引优化查询。遗憾的是有些数据库管理系统如MySQL还没有位图索引功能。 大部分数据库系统都可以对表进行分区。 表分区是将一个大表按照一定的规则分解成多个分区每个表分区可以定义独立的物理存储参数。将不同分区存储到不同的磁盘上查询表中数据时可以有效分布I/O操作缓解系统压力。分区消除分区还有一个很有用的特性叫做分区消除。查询数据的时候数据库系统的优化器可以通过适当的查询条件过滤掉一些分区从而避免扫描所有数据提高查询效率。 2数仓的拓展性
从技术上讲可扩展性是一种通过增加资源使服务能力得到线性扩展的能力。 比方说一台服务器在满负荷时可以为一万个用户同时提供服务当用户数增加到两万时只需要再增加一台服务器就能提供相同性能的服务。随着时间的推移数据量会越来越大因此在做数据仓库物理设计时出于可扩展性的考虑应该把对硬件、软件、网络带宽的依赖降到最低。 5装载数据
这个步骤实际上涉及整个ETL过程。 需要执行的任务包括 源和目标结构之间建立映射关系从源系统抽取数据对数据进行清洗和转换将数据装载进数据仓库创建并存储元数据。 6访问数据
访问步骤是要使数据仓库的数据可以被使用使用的方式包括数据查询、数据分析、建立报表图表、数据发布等。根据采用的数据仓库架构可能会引入数据集市的创建。
访问步骤需要执行以下任务 为前端工具建立一个中间层。在这个中间层里把数据库结构和对象名转化成业务术语这样最终用户就可以使用与特定功能相关的业务语言同数据仓库交互。建立和管理数据仓库里的中间表和汇总表。建立这些表完全是出于性能原因。 中间表一般是在原始表上添加过滤条件获得的数据集合汇总表则是对原始表进行聚合操作后的数据集合。这些表中的记录数会远远小于原始表因此前端工具在这些表上的查询会执行得更快。 7管理维护
这个步骤涵盖在数据仓库整个生命周期里的管理和维护工作。 这步需要执行的任务包括 确保对数据的安全访问管理数据增长优化系统以获得更好的性能保证系统的可用性和可恢复性等 参考《Hadoop构建数据仓库实战》
