电影视频网站怎么做,社区网站推广方案,小程序开发平台哪里做得好,wordpress回复下载插件第一部分#xff1a;Redis基础知识点
1、数据类型 5种常用基础类型#xff1a;string,hash,list,set,zset – 字符串#xff0c;Hash表#xff0c;List顺序集合#xff0c;Set无序集合#xff0c;ZSet有序集合3中特殊类型#xff1a;bitmap-字节地图, hyperloglog-统计…第一部分Redis基础知识点
1、数据类型 5种常用基础类型string,hash,list,set,zset – 字符串Hash表List顺序集合Set无序集合ZSet有序集合3中特殊类型bitmap-字节地图, hyperloglog-统计日志,geospatial-地理位置计算 2、底层数据结构 String 基于SDS字典结构Hash表 由zipList/quickList组成底层有Dict保存List集合 基于LinkedList数据接口的ZipList和QuickList结构Set集合 intSet和Dict组合其中Dict由Hashtable和DictEntry和Dict组成ZSet集合HashTableSkipListIntSet说明: ZipList压缩表用于当元素数量小于128时用于对集合压缩减少内存占用但是虽节省内存但是需要连续空间会造成内存碎片QuickList则在ZipList上使用LinkedList来避免申请连续空间减少内存碎片产生SkipList跳表则是采用类似于加索引方式提升查询效率 3、持久化方式 rdb快照模式, 数据恢复快效率高但是会丢失数据aof命令拼接模式数据恢复慢效率低数据安全常用RDBAOF结合方式。 4、内存淘汰策略 allkey-lru,allkey-lfu,allkey-random,nonvice,volite-lru,volite-lfu,volite-ttlLRU算法最近最少使用 底层原理基于HashTableLinkedList即Hash表和双向链表实现即HashTable用于快速查找LinkedList采用后进先出方式保证最近访问的放在前面只淘汰尾部即可 LFU算法最近不频繁使用 底层原理使用RedisObject的lru字段的后半部分保存访问的次数 TTL算法对于设置了存活时间(TTL)的keyTTL值越小越先淘汰Random算法 随机算法 5、集群方式 主从模式哨兵模式代理分片模式redis-cluster模式 6、redis常见问题 缓存雪崩缓存穿透缓存击穿bigkey,hotkey,双写一致性 7、redis特性 内存单线程模型多路复用epoll 8、redis锁八大机制 加锁可重入锁维持加锁-看门狗机制锁互斥 手动释放锁自动释放锁加锁超时超时释放锁 9、过期策略 定时过期,惰性过期定期过期 10、redis 集群模式 主从模式哨兵模式Redis-Clustor 11、Redis为什么快 内存模式内存淘汰策略内存模式保证查询快内存淘汰保证安全网络模型 RESP协议是CS架构内部数据结构简单准确epoll非阻塞的多路复用基于信号IO驱动零拷贝 持久化保证数据安全性原子事务 12、Redis的特性 内存持久化事务Io多路服务Epoll机制
第二部分Redis实战场景
1、Redis的应用场景
1、分布式缓存旁路缓存对象缓存全页缓存热点数据缓存2、分布式锁3、分布式Session共享4、分布式唯一ID生成5、分布式限流6、计数器7、排行榜8、位统计功能签到打卡用户留存率用户活跃度9、延时操作10、点赞关注和推荐朋友圈可见11、消息队列12、抽奖13、标签14、过滤布隆过滤器筛选15、业务处理交集差集并集
2、Redis问题以及解决方案
1、缓存雪崩 原因 缓存同时过期方案 (1)加随机过期时间(2)多级缓存(3)限流读锁 2、缓存穿透 原因大量访问缓存和数据库不存在数据方案 (1)访问校验(2)Hash拦截(2)布隆过滤(3)空值缓存(4)混合方式解决即空值短缓存频繁请求加校验 3、缓存击穿 原因热点数据过期方案 (1)多级缓存(2)不过期(3)加锁 4、热点key问题 原因热点数据超频繁,造成服务过载方案 (1)多级缓存(2)集群扩容分片负载(3)热点分散 5、redis大key问题 原因Hash,List,set,zset等集合由于时间累积造成key过大方案 (1)定时过期重建key(2)压缩value(3)拆分bigkey(4)定期检查key移除失效元素进行瘦身 6、双写一致性问题 原因高并发场景下缓存和DB更新导致读写不一致问题方案 - 1、更新cache,更新DB-问题更新DB失败造成脏数据 - 2、更新DB更新Cache-问题更新Cache失败造成脏数据 - 3、删除cache,更新DB-问题高并发场景会读取到未更新DB的脏数据 - 4、延迟双删删除Cache更新DB删除Cache一定程度上可以保证但是 - 5、更新DB延迟更新Cache-通过Canol或MQ方式延迟更新Cache某种方式来说可以解决更新Cache失败问题
第三部分深入Redis原理
1、Redis数据类型以及应用场景
数据类型 string,Hash,List,Set,ZSet,BitMap,Geo,LogLog 使用场景 分布式缓存(旁路缓存读写缓存)分布式锁分布式Session计数器布隆过滤器限流器消息队列秒杀红包抽奖.点赞关注签到榜单
2、持久化机制
持久化方式 RDB方式:恢复快文件小数据安全低 RDB持久化save指定触发后redis会fork出一个线程拷贝出当前运行时副本成功后 AOF方式:内容多文件大恢复慢数据安全高 AOF大小触发重做后redis会fork出一个新线程拷贝出当前运行时数据副本的保存命令后再执行增量数据命令 持久化策略 自动保存手动保存
3、redis锁机制,事务机制原子性等
锁机制 过程 getLock,如果true,则setnx,执行程序主动释放lock,完成如果程序超时通过expire被动释放lockgetLock,如果false则自旋等待已经占有锁线程释放lock 作用 保证分布式环境下线程竞争资源的正常运行。 原子性 redis的原子操作指令incr和decr,setnx自定义实现方式 使用Lua脚本使用事务监控方式 1、监控watch key,2、事务开始MULTI,3、定义事务原子操作SET key 100 4、执行事务 EXEC 事务机制 原子性一致性隔离性持久性顺序性Redis事务流程 事务开始 MULTIWATCH,命令入队取消入队DISCARD,事务执行 EXEC
2、Redis的数据结构
SDS 动态字符数组每个数组由头部len,freelen组成LinkedList 双向链表结构ZipList 压缩链表结构集合长度小于512或长度小于64k时采用压缩表结构QuickList 快速链表结构v3.2以后改进由linkedziplist组成linkedlist保证快速遍历ziplist保证数据压缩hashtable 哈希表结构redis全局也是hash表结构skiplist - 跳表结构-结构上结点之间有多个指针能够根据key快速跳到对应的位置
3、Redis快速的原因
基于内存实现的KV结构便于快速查找高效的数据结构和数据编码单线程模型避免线程上下文切换高效的网路传输协议使用epoll实现IO多路复用机制高效的内存淘汰机制保证缓存命中率
4、Redis线程模型IO模型网络模型等
线程模型 单线程模型即网络请求采用单线程分为文件事件处理器-包括请求连接命令请求命令响应多线程模型连接持久化语法检查 网络Io模型 参考JavaIO模型 多路复用 多路是网络请求多路复用是处理线程复用 内存模型 本身内存数据内存缓冲内存碎片内存
