企业网站建设与网络营销的关系,母婴网站模板dede,企业网站货物查询怎么做,东莞做网站优化HyperLogLog
简介
在工作当中#xff0c;我们经常会遇到与统计相关的功能需求#xff0c;比如统计网站PV#xff08;PageView页面访问量#xff09;,可以使用Redis的incr、incrby轻松实现。
但像UV#xff08;UniqueVisitor#xff0c;独立访客#xff09;、独立IP数…HyperLogLog
简介
在工作当中我们经常会遇到与统计相关的功能需求比如统计网站PVPageView页面访问量,可以使用Redis的incr、incrby轻松实现。
但像UVUniqueVisitor独立访客、独立IP数、搜索记录数等需要去重和计数的问题如何解决这种求集合中不重复元素个数的问题称为基数问题。
解决基数问题有很多种方案
1数据存储在MySQL表中使用distinct count计算不重复个数
2使用Redis提供的hash、set、bitmaps等数据结构来处理
以上的方案结果精确但随着数据不断增加导致占用空间越来越大对于非常大的数据集是不切实际的。
能否能够降低一定的精度来平衡存储空间Redis推出了HyperLogLog Redis HyperLogLog 是用来做基数统计的算法HyperLogLog 的优点是在输入元素的数量或者体积非常非常大时计算基数所需的空间总是固定的、并且是很小的。
在 Redis 里面每个 HyperLogLog 键只需要花费 12 KB 内存就可以计算接近 2^64 个不同元素的基数。这和计算基数时元素越多耗费内存就越多的集合形成鲜明对比。
但是因为 HyperLogLog 只会根据输入元素来计算基数而不会储存输入元素本身所以 HyperLogLog 不能像集合那样返回输入的各个元素。
什么是基数?
比如数据集 {1, 3, 5, 7, 5, 7, 8} 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内快速计算基数。
命令
pfadd
1格式 pfadd [key][element] [element …] 添加指定元素到 HyperLogLog 中 pfcount
1格式 pfcount[key] [key …] 计算HLL的近似基数可以计算多个HLL比如用HLL存储每天的UV计算一周的UV可以使用7天的UV合并计算即可 pfmerge
1格式 pfmerge [sourcekey …] 将一个或多个HLL合并后的结果存储在另一个HLL中比如每月活跃用户可以使用每天的活跃用户来合并计算可得
