台州建站网站模板,网页导航栏设计图片,wordpress 开启注册,佛山市建设小学网站一个存放消息的组件生产者#xff0c; 消费者#xff0c; broker三部分消息队列的两种模式 *生产者和消费者#xff08;消费者主动拉取信息#xff0c;然后删除#xff09; *发布订阅#xff08;#xff09; kafka基础架构*一个topic有多个partition#xff08;副本 消费者 broker三部分消息队列的两种模式 *生产者和消费者消费者主动拉取信息然后删除 *发布订阅 kafka基础架构*一个topic有多个partition副本信息非全量有分leader和follower *消费者组只消费leader的一个分区一个消费者处理 *zookeeper安装
修改broker id 修改ZK地址 修改数据存放路径 生产者原理
流程数据——缓存——集群 数据量先写道缓存 到达指定批次数量batch默认16K或等待时间(linger)默认0秒就发送 *可以异步发送 *可以异步发送回调 *同步发送 分区 *1有指定的-指定partution *2有key的-根据key和toipc的partition数取余 *3啥没有的-粘性分区随机批次满了或时间到在随机下一个 怎么提高吞吐量 *加大批次batch默认16K *等待时间(linger)默认0 *压缩 *修改缓冲区大小默认32M 幂等性无论发送多少次都只保存一条 去重性最多一次配置acks 可靠性最少一次 有序性开启幂等性或者设置单分区 架构 消费者 broker broker topic partition分区 可靠性副本leader,folloer 生产者和消费者只对leader操 一个分区只有一个消费者 消费者 zookeeper broker.ids leader 辅助选举 生产者API *send()异步发送 *可以回调可以实现同步 *批量发送设置batch默认16K或等待时间(linger)默认0 *配置acks (acks0或者1)最多一次去重 (acks-1或者retries0)最少一次可靠
消费者API 可以自动提交或者手动提交单条或者批量提交
支持事务y 隔离级别 读未提交,读提交
