网站蜘蛛爬行统计,餐饮品牌全案设计公司,宁波市建设集团股份有限公司,湖北省建设工程造价管理协会网站原理
布隆过滤器数据结构 布隆过滤器是一个 bit 向量或者说 bit 数组#xff0c;长这样#xff1a; 如果我们要映射一个值到布隆过滤器中#xff0c;我们需要使用多个不同的哈希函数生成多个哈希值#xff0c;并对每个生成的哈希值指向的 bit 位置 1。 例如针对值 “baid…原理
布隆过滤器数据结构 布隆过滤器是一个 bit 向量或者说 bit 数组长这样 如果我们要映射一个值到布隆过滤器中我们需要使用多个不同的哈希函数生成多个哈希值并对每个生成的哈希值指向的 bit 位置 1。 例如针对值 “baidu” 和三个不同的哈希函数分别生成了哈希值 1、4、7则上图转变为 Ok我们现在再存一个值 “tencent”如果哈希函数返回 3、4、8 的话图继续变为 值得注意的是4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位因此它被覆盖了。
现在我们如果想查询 “dianping” 这个值是否存在哈希函数返回了 1、5、8三个值结果我们发现 5 这个 bit 位上的值为 0说明没有任何一个值映射到这个 bit 位上因此我们可以很确定地说 “dianping” 这个值不存在。
而当我们需要查询 “baidu” 这个值是否存在的话那么哈希函数必然会返回 1、4、7然后我们检查发现这三个 bit 位上的值均为 1那么我们可以说 “baidu” 存在了么答案是不可以只能是 “baidu” 这个值可能存在。
这是为什么呢答案跟简单因为随着增加的值越来越多被置为 1 的 bit 位也会越来越多这样某个值 “taobao” 即使没有被存储过但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 那么程序还是会判断 “taobao” 这个值存在。
作者YoungChen__ 链接https://zhuanlan.zhihu.com/p/43263751
特点
可以判断某一个数一定不存在不可以判断某一个数一定存在
应用场景
海量URL的去重
源码实现
三个哈希函数
unsigned int SDBMHash(char *str, unsigned int size)
{unsigned int hash 0;while (*str){// equivalent to: hash 65599*hash (*str);hash (*str) (hash 6) (hash 16) - hash;}return (hash 0x7FFFFFFF) % size;
}// RS Hash Function
unsigned int RSHash(char *str, unsigned int size)
{unsigned int b 378551;unsigned int a 63689;unsigned int hash 0;while (*str){hash hash * a (*str);a * b;}return (hash 0x7FFFFFFF) % size;
}// JS Hash Function
unsigned int JSHash(char *str, unsigned int size)
{unsigned int hash 1315423911;while (*str){hash ^ ((hash 5) (*str) (hash 2));}return (hash 0x7FFFFFFF) % size;
}插入并给指定位置置1
void BFInsert(BloomFilter *pBF, const char *str)
{unsigned int i1 pBF-func1(str, pBF-bm.size);unsigned int i2 pBF-func2(str, pBF-bm.size);unsigned int i3 pBF-func3(str, pBF-bm.size);BMSetOne((pBF-bm), i1);BMSetOne((pBF-bm), i2);BMSetOne((pBF-bm), i3);
}优质参考文献
https://www.jianshu.com/p/2104d11ee0a2
https://blog.csdn.net/championhengyi/article/details/72885500
https://baike.baidu.com/item/布隆过滤器/5384697?fraladdin
