银行需要网站开发人员吗,深圳做网站推广哪家好,文件服务器网站搭建教程,代码生成器应用全量表#xff1a;记录每天的所有的最新状态的数据#xff0c;增量表#xff1a;记录每天的新增数据#xff0c;增量数据是上次导出之后的新数据。快照表#xff1a;按日分区#xff0c;记录截止数据日期的全量数据切片表#xff1a;切片表根据基础表#xff0c;往往只…全量表记录每天的所有的最新状态的数据增量表记录每天的新增数据增量数据是上次导出之后的新数据。快照表按日分区记录截止数据日期的全量数据切片表切片表根据基础表往往只反映某一个维度的相应数据。其表结构与基础表结构相同但数据往往只有某一维度或者某一个事实条件的数据 拉链表记录每条信息的生命周期当一条记录的生命周期结束就会重新开始一条新的记录并把当前日期放入生效开始日期。如果当前信息至今有效则在生效结束日期中填入一个极大值如9999-99-99 一般在数仓中通过增加start_dateend_date两列来表示。
拉链表适合于数据会发生变化但是大部分是不变的。
使用拉链表的方式通过生效开始日期 某个日期 且 生效结束日期某个日期能够得到某个时间点的数据全量切片。
拉链表的形成过程比如下图 如何制作拉链表 1新建和初始化拉链表dwd_order_info_his首次独立执行
drop table if exists dwd_order_info_his;
create external table dwd_order_info_his(id string COMMENT 订单编号,total_amount decimal(10,2) COMMENT 订单金额,order_status string COMMENT 订单状态,user_id string COMMENT 用户id ,payment_way string COMMENT 支付方式,out_trade_no string COMMENT 支付流水号,create_time string COMMENT 创建时间,operate_time string COMMENT 操作时间,start_date string COMMENT 有效开始日期,end_date string COMMENT 有效结束日期
) COMMENT 订单拉链表
stored as parquet
location /warehouse/gmall/dwd/dwd_order_info_his/
tblproperties (parquet.compressionsnappy);insert overwrite table dwd_order_info_his
selectid,total_amount,order_status,user_id,payment_way,out_trade_no,create_time,operate_time,2019-01-01,9999-99-99
from ods_order_info oi
where oi.dt2019-01-01; 2获取当日变动数据包括新增和修改每日执行
//当天的订单变化表dwd_order_info数据获取
INSERT overwrite TABLE dwd_order_info PARTITION (day 2019-01-02)
SELECT orderid,status
FROM orders
WHERE (createtime 2019-01-02 and modifiedtime 2019-01-02) OR modifiedtime 2019-01-02; 3合并变动数据和旧拉链表数据有更新的信息需要修改生效结束日期无更新的信息生效结束日期不变之后插入到临时表中 比如下图 4用临时表覆盖旧拉链表
insert overwrite table dwd_order_info_his
select * from dwd_order_info_his_tmp;
