网站开发是编程吗,odoo 网站建设,备案ip 查询网站查询网站查询系统,线上营销策划方案技术主题
技术原理
物化视图#xff08;Materialized View#xff09;是一种预先计算并缓存结果的视图#xff0c;存储在磁盘上自动更新#xff0c;空间换时间的思路。物化视图是一种优化技术#xff0c;本质上就是为了加速查询操作#xff0c;降低系统负载#xff0c…技术主题
技术原理
物化视图Materialized View是一种预先计算并缓存结果的视图存储在磁盘上自动更新空间换时间的思路。物化视图是一种优化技术本质上就是为了加速查询操作降低系统负载提高查询性能。
细讲一流程
1、当创建一个物化视图的时候clickhouse会计算该视图的结果并将结果存储在磁盘上。当查询该视图时clickhouse会直接从磁盘上的结果中获取数据而不需要重新计算。
2、可以进行跨表创建物化视图执行查询操作进行更新例如insert、update、delete。当数据源发生更改时物化视图会自动更新。 因为除了要更新数据还需要更新视图物化视图的缺点是会增加数据更新和维护的开销。
3、需要注意一下数据在进行删除的时候物化视图中的数据不会出发删除操作除了insert会触发视图机制其他任何操作删除/修改数据、甚至删除基表视图数据不会变化
细讲二创建物化视图
create materialized view git.commits_mv
engine SummingMergeTree
order by (dt, author)
as select
toDate(time) as dt, author, count() as n from git.commits group by dt, author order by dt asc;SummingMergeTree 表引擎主要用于只关心聚合后的数据而不关心明细数据的场景它能够在合并分区的时候按照预先定义的条件聚合汇总数据将同一分组下的多行数据汇总到一行可以显著的 减少存储空间并加快数据查询的速度。
需要注意的是在使用物化视图SummingMergeTree 引擎的时候也需要按照聚合查询来写 sql因为虽然 SummingMergeTree 会自己预聚合但是并不是实时的具体执行聚合的时机并 不可控。
select dt, author, sum(n) from git.commits_mv group by dt ,author order by dt desc;
细讲三物化视图的优缺点
特点允许显式目标表创建视图两种方式的一种to db.table、累加式、写入触发器预聚合触发器、持久化空间换时间、join左表触发、源表数据的改变不会影响物化视图(如update, delete, drop partition)、空间换时间
优点查询速度快要是把物化视图这些规则全部写好它比原数据查询快了很多总的行数少了因为都预计算好了。 缺点它的本质是一个流式数据的使用场景是累加式的技术所以要用历史数据做去重、去更新这样的分析在物化视图里面是不太好用的。在某些场景的使用也是有限的。选择规划好使用场景 而且如果一张表加了好多物化视图在写这张表的时候就会消耗很多机器的资源比如数据带宽占满、存储一下子增加了很多。消耗存储
细讲四基表新增、删除、修改视图用SummingMergeTree
只有新增、会触发物化视图机制。 —基础表 人员工资表
drop table IF EXISTS user;
create table IF NOT EXISTS user(id UInt8, org String, gh String,name String,salary Decimal(20,2))engineReplacingMergeTree() order by (id,name) primary key id ;
insert into user values(1,gw,zs,张三,1),(2,yl,ls,李四,1);—统计同名数量
drop VIEW IF EXISTS user_mv;
CREATE MATERIALIZED VIEW IF NOT EXISTS user_mv
ENGINE SummingMergeTree(salary)
ORDER BY (org) POPULATE
AS
SELECT org, sum(salary) salary FROM user GROUP BY org ;insert into user values(1,gw,zs,张三,1);–删除表和数据均不不影响视图内容,视图不是实时的触发
细讲五基表新增、删除、修改视图用AggregatingMergeTree
只有新增、会触发物化视图机制 –创建表 t_merge_base 表使用MergeTree引擎
create table IF NOT EXISTS t_merge_base(id UInt8,name String,age UInt8,loc String,dept String,workdays UInt8,salary Decimal32(2))engine MergeTree() order by (id,age) primary key id partition by loc;create materialized view IF NOT EXISTS view_aggregating_mt engine AggregatingMergeTree() order by id as select id,name,sumState(salary) as ss from t_merge_base group by id ,name ;–#向表 t_merge_base 中插入数据
insert into t_merge_base values (1,张三,18,北京,大数据,24,10000), (2,李四,19,上海,java,22,8000),(3,王五,20,北京,java,26,12000);– #继续向表 t_merge_base中插入排序键相同的数据
insert into t_merge_base values (1,‘张三三’,18,‘北京’,‘前端’,22,5000);
