手机网站适配,中卫网络工程招聘,琼海商城网站建设,互联网建造公司有哪些目录 BlockCacheLruBlockCacheBucketCacheCompressed BlockCache注意点 BlockCache
用于缓存从hdfs读的数据#xff0c;有两种不同的实现#xff0c;LruBlockCache(利用堆内存)和BucketCache(利用非堆内存)
LruBlockCache
使用LRU算法
Single access级#xff1a;首次从… 目录 BlockCacheLruBlockCacheBucketCacheCompressed BlockCache注意点 BlockCache
用于缓存从hdfs读的数据有两种不同的实现LruBlockCache(利用堆内存)和BucketCache(利用非堆内存)
LruBlockCache
使用LRU算法
Single access级首次从hdfs中读取的block位于该层级后续也会首先考虑驱逐Multi access级在single access中的block再次被访问则位于该层级则block将会升级到该层级。In-memory access如果列族配置了in-memory则不考虑访问次数直接处于该层级
处于用户block还缓存
Catalog Tables即hbase:meta表HFiles Indexes用于搜索hfile时无须读取整个数据文件。索引的大小受块大小、键大小和数据大小决定Keysrow key, family qualifier, and timestampBloom Filters布隆过滤器
BucketCache
BucketCache是通过CombinedBlockCache来联合管理的
使用LruBlockCache缓存index和bloom数据block存储在BucketCache。BucketCache块缓存可以在堆外、文件或mmaped文件模式下。通过hbase.bucketcache.ioengine参数设定。
配置方法
在hbase-env.sh中先配置堆外内存HBASE_OFFHEAPSIZE(比想要的值大还有其他使用堆外的地方)配置相关参数缓存模式hbase.bucketcache.ioengine、lru缓存大小hfile.block.cache.size、bucketcache缓存大小hbase.bucketcache.size
Compressed BlockCache
hbase.block.data.cachecompressed设置为true启用。提高吞吐同时也会提高延迟和gc、cpu使用。
注意点
某些情况下不适合使用blockcache
完全随机读模式数据短时间内不会访问第二次此时在表上设置块缓存非常浪费。大数量的scan此时可能会导致oom发生在一个典型的MapReduce作业中每一行只读取一次因此不需要将它们放入块缓存。Scan对象可以通过setCacheBlocks方法将其设置为false禁用此选项。
