Dw怎么做网站往里面加标题和字,云南网架加工,安全联盟这种网站建设,广告公司年终总结1 ClickHouse特性 OLAP数据库一般有2个要求#xff1a;①容量要比关系型数据库大#xff0c;②在线查询的速度要快。ClickHouse这两点都满足并且还支持标准的sql#xff0c;支持比较复杂的语句#xff0c;支持分布式。ClickHouse的几个显著特点如下#xff1a; #xff0…1 ClickHouse特性 OLAP数据库一般有2个要求①容量要比关系型数据库大②在线查询的速度要快。ClickHouse这两点都满足并且还支持标准的sql支持比较复杂的语句支持分布式。ClickHouse的几个显著特点如下 1列式存储 列式存储的优点①列式存储不同于行式存储以行为单位进行存储行式存储更变故搜索查询。列式存储以列为单位进行存储这样更适合做聚合计算如求和是针对一列的数据进行求和这一列的数据又放在一起。②行式存储每个字段类型不一致列式存储不同的类型是不在一起的一个数据块存储的类型都是一致的这样的话就便于压缩类型相同压缩算法发挥的空间就比较大压缩比高所以海量数据的话就能对节省磁盘空间。③因为一个数据块类型相同压缩比高不仅节省了磁盘空间还节省了内存空间可以在内存中存储更多的数据。 列式存储的缺点不支持事务 2支持DBMS的功能 支持的SQL和关系型数据库基本没有什么差别支持标准SQL的大部分语法包括DDL和DML及各种函数。虽然ClickHouse可以修改数据结构可以删除数据但是性能不好。 3支持多种引擎 ClickHouse与Mysql类型把表级别的存储引擎插件化支持的引擎可以分为6大类用的最多的是MegreTree家族
2 ClickHouse的写入 一般关系型数据的写入基本上是随机写为了方便查询要知道插入的位置找到合适的位置插入。写入操作本事不重但是要找到合适的位置就是个问题随机的读写每次写入位置不同机械磁盘的磁头就不同的转找位置所以写入能力比较弱。像HBASE也是随机写入但是采用LSM树进行是异步的写入先把数据写到内存就完事了要插入的位置交给磁盘去处理。 ClickHouse也是采用了LSM Tree结构数据写入后定期在后台合并。写入操作是先写到内存然后在写磁盘的时候不是写到对应的位置而是直接写到一个临时的分区里面全部都堆在内存数据量大的话很麻烦然后会简单的做个排序后台会异步周期性的将临时分区的数据合并到整个存储分区中
3 ClickHouse的读取 ClickHouse将数据划分为多个分区partition每个分区再进一步划分为多个索引段index ganularity。把分区里面的数据划分成细粒度的好处是可以多核并行处理。 假设一个数据有3个分区执行一条查询SQL没有指定任何分区的话就利用多线程把SQL提交到每个分区查询每个CPU现成管理一个分区的数据查询最后合并结果。这种极致的并行处理能力极大的降低了查询的延迟。但是因为查询是多线程的所以非常消耗CPU每条SQL都是并行的这样的话带来的问题就是并行查询很多SQL的时候就会并发非常高核数不够的话CPU就会不停的在线程之间来回切换。CPU在大量线程里面轮转本事就要消耗CPU所以开销更大。 ClickHouse对一条SQL就已经是高并发并行处理了如果提交的SQL还是高并发就不适合使用ClickHouse。ClickHouse适合查询数据量比较大SQL比较复杂的查询他的单一SQL处理能力非常强因为是并行的如即席查询或者像大屏这种低频的查询。不适合开发给用户进行高QPS的查询业务他的QPS理论上比Mysql还要低。
4 与标准SQL的区别
4.1 Insert 与标准SQL基本一致包括标准的插入
INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ...以及表到表的插入
INSERT INTO [db.]table [(c1, c2, c3)] SELECT ...但是和hive不一样没有insert overwrite
4.2 UpdateDelete ClickHouse有Update和Delete的能力可看做是Alter的一种但是和一般的OLAP数据库不一样称为Mutation查询。Mutation的语法其实是数据结构的调整本身不是以数据为单位的修正。 Mutation是很重的操作因为每次修改或者删除都会导致放弃目标数据原有的分区意味着分区会被重写假设我们以天为分区。假设一个分区内的数据有被删除或者修改了。删除的话他是把这个分区的数据重新的再建立一个新分区没有删除的数据就会重新复制一份老分区的数据暂时不动做数据合并的时候他会被删除掉。我们查的时候感觉不出其实分区已经替换了所以是个很重的操作而且不支持事务。Mutation支持分为两步同步的操作时在新增数据新增分区的时候把就分区打上逻辑上的失败标记指导触发合并的时候才会删除就数据释放磁盘空间 所以要做Update和Delete的话尽量做批量的操作不进行频繁的小数据操作。 删除
ALTER TABLE [db.]table [ON CLUSTER cluster] DELETE WHERE filter_expr修改
ALTER TABLE [db.]table UPDATE column1 expr1 [, ...] WHERE filter_expr4.3 Select select查询与标准SQL差别不大①支持子查询②支持with子句③支持join不推荐join无法使用缓存④但是不支持窗口函数⑤不支持自定义函数mysql可以做个function自定义函数还有存储过程hive有个变相的方法语法上不支持但是可以写代码自定义jar包发布成一个函数。ClickHouse是c写的只能通过改源码编译可能支持部分的只能是常驻特别简单的针对业务的函数不可能每次重编译所以不行。⑥group by操作增加了按照维度来计算汇总的操作with rollup上卷从右往左依次去掉维度汇总/with cube立方体从右边开始去完维度从左边开始去维度/with total只计算合计等操作
4.4 Alert 可以根据字段或者数据结构进行调整这种alert都是比较重一般都是在夜里批量的操作
ALTER TABLE [db].name [ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFY COLUMN ...4.5 导出数据 即席查询往往是从数据库里临时需要导出一张报表来导出execel让业务人员去用所以导出是常用的常用的就是csvcsvwithNames是带表头的
clickhouse-client --querySELECT * FROM {some_table} FORMAT Avro file.avro对应的插入语句为
cat file.avro | clickhouse-client --queryINSERT INTO {some_table} FORMAT Avro
