本地做织梦网站,保定市建设局质监站网站,番禺网站建设开发,内蒙古网站seo转载自 2019年这50个Kafka面试题#xff0c;你知道答案么
Apache Kafka对于新手的面试问题#xff1a;41, 42, 43, 44, 45, 47, 49
Apache Kafka对于有经验的人的面试问题#xff1a;46, 48
Apache Kafka的受欢迎程度很高#xff0c;Kafka拥有充足的就业机会和职业前景…转载自 2019年这50个Kafka面试题你知道答案么
Apache Kafka对于新手的面试问题41, 42, 43, 44, 45, 47, 49
Apache Kafka对于有经验的人的面试问题46, 48
Apache Kafka的受欢迎程度很高Kafka拥有充足的就业机会和职业前景。此外在这个时代拥有kafka知识是一条快速增长的道路。所以在这篇文章中我们收集了Apache Kafka面试中常见的问题并提供了答案。因此如果您希望参加Apache Kafka面试这是一份不错的指南。这将有助于您成功参加Kafka面试。
这是Kafka最受欢迎的面试问题清单以及任何面试官都可能问到的答案。所以继续学习直到本文的结尾希望对你有帮助
问题1什么是Apache Kafka?
答Apache Kafka是一个发布 - 订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。
问题2Kafka中有哪几个组件?
答Kafka最重要的元素是
主题Kafka主题是一堆或一组消息。
生产者在Kafka生产者发布通信以及向Kafka主题发布消息。
消费者Kafka消费者订阅了一个主题并且还从主题中读取和处理消息。
经纪人在管理主题中的消息存储时我们使用Kafka Brokers。
问题3解释偏移的作用。
答给分区中的消息提供了一个顺序ID号我们称之为偏移量。因此为了唯一地识别分区中的每条消息我们使用这些偏移量。
问题4什么是消费者组
答消费者组的概念是Apache Kafka独有的。基本上每个Kafka消费群体都由一个或多个共同消费一组订阅主题的消费者组成。
问题5ZooKeeper在Kafka中的作用是什么
答Apache Kafka是一个使用Zookeeper构建的分布式系统。虽然Zookeeper的主要作用是在集群中的不同节点之间建立协调。但是如果任何节点失败我们还使用Zookeeper从先前提交的偏移量中恢复因为它做周期性提交偏移量工作。
问题6没有ZooKeeper可以使用Kafka吗
答绕过Zookeeper并直接连接到Kafka服务器是不可能的所以答案是否定的。如果以某种方式使ZooKeeper关闭则无法为任何客户端请求提供服务。
问题8为什么Kafka技术很重要
答Kafka有一些优点因此使用起来很重要
高吞吐量我们在Kafka中不需要任何大型硬件因为它能够处理高速和大容量数据。此外它还可以支持每秒数千条消息的消息吞吐量。
低延迟Kafka可以轻松处理这些消息具有毫秒级的极低延迟这是大多数新用例所要求的。
容错Kafka能够抵抗集群中的节点/机器故障。
耐久性由于Kafka支持消息复制因此消息永远不会丢失。这是耐久性背后的原因之一。
可扩展性卡夫卡可以扩展而不需要通过添加额外的节点而在运行中造成任何停机。
问题9Kafka的主要API有哪些
答Apache Kafka有4个主要API
生产者API
消费者API
流 API
连接器API
问题10什么是消费者或用户
答Kafka消费者订阅一个主题并读取和处理来自该主题的消息。此外有了消费者组的名字消费者就给自己贴上了标签。换句话说在每个订阅使用者组中发布到主题的每个记录都传递到一个使用者实例。确保使用者实例可能位于单独的进程或单独的计算机上。
Apache Kafka对于新手的面试问题1,2,4,7,8,9,10
Apache Kafka对于有经验的人的面试问题3,5,6
问题11解释领导者和追随者的概念。
答在Kafka的每个分区中都有一个服务器充当领导者0到多个服务器充当追随者的角色。
问题12是什么确保了Kafka中服务器的负载平衡
答由于领导者的主要角色是执行分区的所有读写请求的任务而追随者被动地复制领导者。因此在领导者失败时其中一个追随者接管了领导者的角色。基本上整个过程可确保服务器的负载平衡。
问题13副本和ISR扮演什么角色
答基本上复制日志的节点列表就是副本。特别是对于特定的分区。但是无论他们是否扮演领导者的角色他们都是如此。
此外ISR指的是同步副本。在定义ISR时它是一组与领导者同步的消息副本。
问题14为什么Kafka的复制至关重要
答由于复制我们可以确保发布的消息不会丢失并且可以在发生任何机器错误、程序错误或频繁的软件升级时使用。
问题15如果副本长时间不在ISR中这意味着什么
答简单地说这意味着跟随者不能像领导者收集数据那样快速地获取数据。
问题16启动Kafka服务器的过程是什么
答初始化ZooKeeper服务器是非常重要的一步因为Kafka使用ZooKeeper所以启动Kafka服务器的过程是
要启动ZooKeeper服务器bin/zooKeeper-server-start.sh config/zooKeeper.properties
接下来启动Kafka服务器bin/kafka-server-start.sh config/server.properties
问题17在生产者中何时发生QueueFullException
答每当Kafka生产者试图以代理的身份在当时无法处理的速度发送消息时通常都会发生QueueFullException。但是为了协作处理增加的负载用户需要添加足够的代理因为生产者不会阻止。
问题18解释Kafka Producer API的作用。
答允许应用程序将记录流发布到一个或多个Kafka主题的API就是我们所说的Producer API。
问题19Kafka和Flume之间的主要区别是什么
答Kafka和Flume之间的主要区别是
工具类型
Apache Kafka——Kafka是面向多个生产商和消费者的通用工具。
Apache Flume——Flume被认为是特定应用程序的专用工具。
复制功能
Apache Kafka——Kafka可以复制事件。
Apache Flume——Flume不复制事件。
问题20Apache Kafka是分布式流处理平台吗如果是你能用它做什么
答毫无疑问Kafka是一个流处理平台。它可以帮助
1.轻松推送记录
2.可以存储大量记录而不会出现任何存储问题
3.它还可以在记录进入时对其进行处理。
Apache Kafka对于新手的面试问题11,13,14,16,17,18,19
Apache Kafka对于有经验的人的面试问题12,15,20
问题21你能用Kafka做什么
答它可以以多种方式执行例如
为了在两个系统之间传输数据我们可以用它构建实时的数据流管道。
另外我们可以用Kafka构建一个实时流处理平台它可以对数据快速做出反应。
问题22在Kafka集群中保留期的目的是什么
答保留期限保留了Kafka群集中的所有已发布记录。它不会检查它们是否已被消耗。此外可以通过使用保留期的配置设置来丢弃记录。而且它可以释放一些空间。
问题23解释Kafka可以接收的消息最大为多少
答Kafka可以接收的最大消息大小约为1000000字节。
问题24传统的消息传递方法有哪些类型
答基本上传统的消息传递方法有两种如
排队这是一种消费者池可以从服务器读取消息并且每条消息转到其中一个消息的方法。
发布-订阅在发布-订阅中消息被广播给所有消费者。
问题25ISR在Kafka环境中代表什么
答ISR指的是同步副本。这些通常被分类为一组消息副本它们被同步为领导者。
问题26什么是Kafka中的地域复制
答对于我们的集群Kafka MirrorMaker提供地理复制。基本上消息是通过MirrorMaker跨多个数据中心或云区域复制的。因此它可以在主动/被动场景中用于备份和恢复也可以将数据放在离用户更近的位置或者支持数据位置要求。
问题27解释多租户是什么
答我们可以轻松地将Kafka部署为多租户解决方案。但是通过配置主题可以生成或使用数据可以启用多租户。此外它还为配额提供操作支持。
问题28消费者API的作用是什么
答允许应用程序订阅一个或多个主题并处理生成给它们的记录流的API我们称之为消费者API。
问题29解释流API的作用
答一种允许应用程序充当流处理器的API它还使用一个或多个主题的输入流并生成一个输出流到一个或多个输出主题此外有效地将输入流转换为输出流我们称之为流API。
问题30连接器API的作用是什么
答一个允许运行和构建可重用的生产者或消费者的API将Kafka主题连接到现有的应用程序或数据系统我们称之为连接器API。
Apache Kafka对于新手的面试问题21, 23, 25, 26, 27, 28, 29, 30
Apache Kafka对于有经验的人的面试问题24, 22
问题31解释生产者是什么
答生产者的主要作用是将数据发布到他们选择的主题上。基本上它的职责是选择要分配给主题内分区的记录。
问题32比较RabbitMQ与Apache Kafka
答Apache Kafka的另一个选择是RabbitMQ。那么让我们比较两者
功能
Apache Kafka– Kafka是分布式的、持久的和高度可用的这里共享和复制数据
RabbitMQ中没有此类功能
性能速度
Apache Kafka–达到每秒100000条消息。
RabbitMQ–每秒20000条消息。
问题33比较传统队列系统与Apache Kafka
答让我们比较一下传统队列系统与Apache Kafka的功能
消息保留
传统的队列系统 - 它通常从队列末尾处理完成后删除消息。
Apache Kafka中消息即使在处理后仍然存在。这意味着Kafka中的消息不会因消费者收到消息而被删除。
基于逻辑的处理
传统队列系统不允许基于类似消息或事件处理逻辑。
Apache Kafka允许基于类似消息或事件处理逻辑。
问题34为什么要使用Apache Kafka集群
答为了克服收集大量数据和分析收集数据的挑战我们需要一个消息队列系统。因此Apache Kafka应运而生。其好处是
只需存储/发送事件以进行实时处理就可以跟踪Web活动。
通过这一点我们可以发出警报并报告操作指标。
此外我们可以将数据转换为标准格式。
此外它允许对主题的流数据进行连续处理。
由于它的广泛使用它秒杀了竞品如ActiveMQRabbitMQ等。
问题35解释术语“Log Anatomy”
答我们将日志视为分区。基本上数据源将消息写入日志。其优点之一是在任何时候都有一个或多个消费者从他们选择的日志中读取数据。下面的图表显示数据源正在写入一个日志而用户正在以不同的偏移量读取该日志。
问题36Kafka中的数据日志是什么
答我们知道在Kafka中消息会保留相当长的时间。此外消费者还可以根据自己的方便进行阅读。尽管如此有一种可能的情况是如果将Kafka配置为将消息保留24小时并且消费者可能停机超过24小时则消费者可能会丢失这些消息。但是我们仍然可以从上次已知的偏移中读取这些消息但仅限于消费者的部分停机时间仅为60分钟的情况。此外关于消费者从一个话题中读到什么Kafka不会保持状态。
问题37解释如何调整Kafka以获得最佳性能。
答因此调优Apache Kafka的方法是调优它的几个组件
调整Kafka生产者
Kafka代理调优
调整Kafka消费者
问题38Apache Kafka的缺陷
答Kafka的局限性是
没有完整的监控工具集
消息调整的问题
不支持通配符主题选择
速度问题
问题39列出所有Apache Kafka业务
答Apache Kafka的业务包括
添加和删除Kafka主题
如何修改Kafka主题
如何关机
在Kafka集群之间镜像数据
找到消费者的位置
扩展您的Kafka群集
自动迁移数据
退出服务器
数据中心
问题40解释Apache Kafka用例
答Apache Kafka有很多用例例如
Kafka指标
可以使用Kafka进行操作监测数据。此外为了生成操作数据的集中提要它涉及到从分布式应用程序聚合统计信息。
Kafka日志聚合
从组织中的多个服务收集日志。
流处理
在流处理过程中Kafka的强耐久性非常有用。
Apache Kafka对于新手的面试问题31, 32, 33, 34, 38, 39, 40
Apache Kafka对于有经验的人的面试问题35, 36, 37
问题41Kafka的一些最显著的应用。
答NetflixMozillaOracle
问题42Kafka流的特点。
答Kafka流的一些最佳功能是
Kafka Streams具有高度可扩展性和容错性。
Kafka部署到容器VM裸机云。
我们可以说Kafka流对于小型中型和大型用例同样可行。
此外它完全与Kafka安全集成。
编写标准Java应用程序。
完全一次处理语义。
而且不需要单独的处理集群。
问题43Kafka的流处理是什么意思
答连续、实时、并发和以逐记录方式处理数据的类型我们称之为Kafka流处理。
问题44系统工具有哪些类型
答系统工具有三种类型
Kafka迁移工具它有助于将代理从一个版本迁移到另一个版本。
Mirror MakerMirror Maker工具有助于将一个Kafka集群的镜像提供给另一个。
消费者检查:对于指定的主题集和消费者组它显示主题分区所有者。
问题45什么是复制工具及其类型
答为了增强持久性和更高的可用性这里提供了复制工具。其类型为
创建主题工具
列表主题工具
添加分区工具
问题46Java在Apache Kafka中的重要性是什么
答为了满足Kafka标准的高处理速率需求我们可以使用java语言。此外对于Kafka的消费者客户Java也提供了良好的社区支持。所以我们可以说在Java中实现Kafka是一个正确的选择。
问题47说明Kafka的一个最佳特征。
答Kafka的最佳特性是“各种各样的用例”。
这意味着Kafka能够管理各种各样的用例这些用例对于数据湖来说非常常见。例如日志聚合、Web活动跟踪等。
问题48解释术语“主题复制因子”。
答在设计Kafka系统时考虑主题复制是非常重要的。
问题49解释一些Kafka流实时用例。
答《纽约时报》该公司使用它来实时存储和分发已发布的内容到各种应用程序和系统使其可供读者使用。基本上它使用Apache Kafka和Kafka流。
Zalando作为ESB企业服务总线作为欧洲领先的在线时尚零售商Zalando使用Kafka。
LINE基本上为了相互通信LINE应用程序使用Apache Kafka作为其服务的中心数据中心。
问题50Kafka提供的保证是什么
答生产者向特定主题分区发送的消息的顺序相同。
此外消费者实例按照它们存储在日志中的顺序查看记录。
此外即使不丢失任何提交给日志的记录我们也可以容忍最多N-1个服务器故障。
Apache Kafka对于新手的面试问题41, 42, 43, 44, 45, 47, 49
Apache Kafka对于有经验的人的面试问题46, 48
最后这便是关于Apache Kafka面试的问题和答案。
希望你们看了我的文章能够有所收获。
以下是分享的部分架构师的学习资料和部分零基础学习Java的视频资料附带练习题和课堂笔记需要的朋友可以自取 # kafka # kafka流 # 数据库 # 长文章
版权归作者所有转载请注明出处
javajiagoushiziyuanfenxiang
热度 0
评论 0
分享
推荐文章
SpringCloud微服务架构升级总结
首先为自己打个广告我目前在某互联网公司做架构师已经有5年经验每天都会写架构师系列的文章感兴趣的朋友可以关注我和我一起探讨关...
javajiagoushiziyuanfenxiang
ActiveMQ基本详解与总结
首先为自己打个广告我目前在某互联网公司做架构师已经有5年经验每天都会写架构师系列的文章感兴趣的朋友可以关注我和我一起探讨关...
javajiagoushiziyuanfenxiang
ActiveMQ|客户端原理及源码分析
首先为自己打个广告我目前在某互联网公司做架构师已经有5年经验每天都会写架构师系列的文章感兴趣的朋友可以关注我和我一起探讨...
javajiagoushiziyuanfenxiang
评论(0)
联系我们|招贤纳士|移动客户端|风格模板|官方博客
网易公司版权所有 ©1997-2019浙公网安备 33010002000017号ICP备浙B2-20090185-5增值电信业务经营许可证浙B2-20090185LOFTER-网易轻博
首页2 浏览 APP 话题 达人 设置 更多 2019年这50个Kafka面试题你知道答案么
javajiagoushiziyuanfenxiang2019-06-28
小贴士本文很长如有收获帮我点个关注谢谢↓
Apache Kafka对于新手的面试问题41, 42, 43, 44, 45, 47, 49
Apache Kafka对于有经验的人的面试问题46, 48
Apache Kafka的受欢迎程度很高Kafka拥有充足的就业机会和职业前景。此外在这个时代拥有kafka知识是一条快速增长的道路。所以在这篇文章中我们收集了Apache Kafka面试中常见的问题并提供了答案。因此如果您希望参加Apache Kafka面试这是一份不错的指南。这将有助于您成功参加Kafka面试。
这是Kafka最受欢迎的面试问题清单以及任何面试官都可能问到的答案。所以继续学习直到本文的结尾希望对你有帮助
问题1什么是Apache Kafka?
答Apache Kafka是一个发布 - 订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。
问题2Kafka中有哪几个组件?
答Kafka最重要的元素是
主题Kafka主题是一堆或一组消息。
生产者在Kafka生产者发布通信以及向Kafka主题发布消息。
消费者Kafka消费者订阅了一个主题并且还从主题中读取和处理消息。
经纪人在管理主题中的消息存储时我们使用Kafka Brokers。
问题3解释偏移的作用。
答给分区中的消息提供了一个顺序ID号我们称之为偏移量。因此为了唯一地识别分区中的每条消息我们使用这些偏移量。
问题4什么是消费者组
答消费者组的概念是Apache Kafka独有的。基本上每个Kafka消费群体都由一个或多个共同消费一组订阅主题的消费者组成。
问题5ZooKeeper在Kafka中的作用是什么
答Apache Kafka是一个使用Zookeeper构建的分布式系统。虽然Zookeeper的主要作用是在集群中的不同节点之间建立协调。但是如果任何节点失败我们还使用Zookeeper从先前提交的偏移量中恢复因为它做周期性提交偏移量工作。
问题6没有ZooKeeper可以使用Kafka吗
答绕过Zookeeper并直接连接到Kafka服务器是不可能的所以答案是否定的。如果以某种方式使ZooKeeper关闭则无法为任何客户端请求提供服务。
问题8为什么Kafka技术很重要
答Kafka有一些优点因此使用起来很重要
高吞吐量我们在Kafka中不需要任何大型硬件因为它能够处理高速和大容量数据。此外它还可以支持每秒数千条消息的消息吞吐量。
低延迟Kafka可以轻松处理这些消息具有毫秒级的极低延迟这是大多数新用例所要求的。
容错Kafka能够抵抗集群中的节点/机器故障。
耐久性由于Kafka支持消息复制因此消息永远不会丢失。这是耐久性背后的原因之一。
可扩展性卡夫卡可以扩展而不需要通过添加额外的节点而在运行中造成任何停机。
问题9Kafka的主要API有哪些
答Apache Kafka有4个主要API
生产者API
消费者API
流 API
连接器API
问题10什么是消费者或用户
答Kafka消费者订阅一个主题并读取和处理来自该主题的消息。此外有了消费者组的名字消费者就给自己贴上了标签。换句话说在每个订阅使用者组中发布到主题的每个记录都传递到一个使用者实例。确保使用者实例可能位于单独的进程或单独的计算机上。
Apache Kafka对于新手的面试问题1,2,4,7,8,9,10
Apache Kafka对于有经验的人的面试问题3,5,6
问题11解释领导者和追随者的概念。
答在Kafka的每个分区中都有一个服务器充当领导者0到多个服务器充当追随者的角色。
问题12是什么确保了Kafka中服务器的负载平衡
答由于领导者的主要角色是执行分区的所有读写请求的任务而追随者被动地复制领导者。因此在领导者失败时其中一个追随者接管了领导者的角色。基本上整个过程可确保服务器的负载平衡。
问题13副本和ISR扮演什么角色
答基本上复制日志的节点列表就是副本。特别是对于特定的分区。但是无论他们是否扮演领导者的角色他们都是如此。
此外ISR指的是同步副本。在定义ISR时它是一组与领导者同步的消息副本。
问题14为什么Kafka的复制至关重要
答由于复制我们可以确保发布的消息不会丢失并且可以在发生任何机器错误、程序错误或频繁的软件升级时使用。
问题15如果副本长时间不在ISR中这意味着什么
答简单地说这意味着跟随者不能像领导者收集数据那样快速地获取数据。
问题16启动Kafka服务器的过程是什么
答初始化ZooKeeper服务器是非常重要的一步因为Kafka使用ZooKeeper所以启动Kafka服务器的过程是
要启动ZooKeeper服务器bin/zooKeeper-server-start.sh config/zooKeeper.properties
接下来启动Kafka服务器bin/kafka-server-start.sh config/server.properties
问题17在生产者中何时发生QueueFullException
答每当Kafka生产者试图以代理的身份在当时无法处理的速度发送消息时通常都会发生QueueFullException。但是为了协作处理增加的负载用户需要添加足够的代理因为生产者不会阻止。
问题18解释Kafka Producer API的作用。
答允许应用程序将记录流发布到一个或多个Kafka主题的API就是我们所说的Producer API。
问题19Kafka和Flume之间的主要区别是什么
答Kafka和Flume之间的主要区别是
工具类型
Apache Kafka——Kafka是面向多个生产商和消费者的通用工具。
Apache Flume——Flume被认为是特定应用程序的专用工具。
复制功能
Apache Kafka——Kafka可以复制事件。
Apache Flume——Flume不复制事件。
问题20Apache Kafka是分布式流处理平台吗如果是你能用它做什么
答毫无疑问Kafka是一个流处理平台。它可以帮助
1.轻松推送记录
2.可以存储大量记录而不会出现任何存储问题
3.它还可以在记录进入时对其进行处理。
Apache Kafka对于新手的面试问题11,13,14,16,17,18,19
Apache Kafka对于有经验的人的面试问题12,15,20
问题21你能用Kafka做什么
答它可以以多种方式执行例如
为了在两个系统之间传输数据我们可以用它构建实时的数据流管道。
另外我们可以用Kafka构建一个实时流处理平台它可以对数据快速做出反应。
问题22在Kafka集群中保留期的目的是什么
答保留期限保留了Kafka群集中的所有已发布记录。它不会检查它们是否已被消耗。此外可以通过使用保留期的配置设置来丢弃记录。而且它可以释放一些空间。
问题23解释Kafka可以接收的消息最大为多少
答Kafka可以接收的最大消息大小约为1000000字节。
问题24传统的消息传递方法有哪些类型
答基本上传统的消息传递方法有两种如
排队这是一种消费者池可以从服务器读取消息并且每条消息转到其中一个消息的方法。
发布-订阅在发布-订阅中消息被广播给所有消费者。
问题25ISR在Kafka环境中代表什么
答ISR指的是同步副本。这些通常被分类为一组消息副本它们被同步为领导者。
问题26什么是Kafka中的地域复制
答对于我们的集群Kafka MirrorMaker提供地理复制。基本上消息是通过MirrorMaker跨多个数据中心或云区域复制的。因此它可以在主动/被动场景中用于备份和恢复也可以将数据放在离用户更近的位置或者支持数据位置要求。
问题27解释多租户是什么
答我们可以轻松地将Kafka部署为多租户解决方案。但是通过配置主题可以生成或使用数据可以启用多租户。此外它还为配额提供操作支持。
问题28消费者API的作用是什么
答允许应用程序订阅一个或多个主题并处理生成给它们的记录流的API我们称之为消费者API。
问题29解释流API的作用
答一种允许应用程序充当流处理器的API它还使用一个或多个主题的输入流并生成一个输出流到一个或多个输出主题此外有效地将输入流转换为输出流我们称之为流API。
问题30连接器API的作用是什么
答一个允许运行和构建可重用的生产者或消费者的API将Kafka主题连接到现有的应用程序或数据系统我们称之为连接器API。
Apache Kafka对于新手的面试问题21, 23, 25, 26, 27, 28, 29, 30
Apache Kafka对于有经验的人的面试问题24, 22
问题31解释生产者是什么
答生产者的主要作用是将数据发布到他们选择的主题上。基本上它的职责是选择要分配给主题内分区的记录。
问题32比较RabbitMQ与Apache Kafka
答Apache Kafka的另一个选择是RabbitMQ。那么让我们比较两者
功能
Apache Kafka– Kafka是分布式的、持久的和高度可用的这里共享和复制数据
RabbitMQ中没有此类功能
性能速度
Apache Kafka–达到每秒100000条消息。
RabbitMQ–每秒20000条消息。
问题33比较传统队列系统与Apache Kafka
答让我们比较一下传统队列系统与Apache Kafka的功能
消息保留
传统的队列系统 - 它通常从队列末尾处理完成后删除消息。
Apache Kafka中消息即使在处理后仍然存在。这意味着Kafka中的消息不会因消费者收到消息而被删除。
基于逻辑的处理
传统队列系统不允许基于类似消息或事件处理逻辑。
Apache Kafka允许基于类似消息或事件处理逻辑。
问题34为什么要使用Apache Kafka集群
答为了克服收集大量数据和分析收集数据的挑战我们需要一个消息队列系统。因此Apache Kafka应运而生。其好处是
只需存储/发送事件以进行实时处理就可以跟踪Web活动。
通过这一点我们可以发出警报并报告操作指标。
此外我们可以将数据转换为标准格式。
此外它允许对主题的流数据进行连续处理。
由于它的广泛使用它秒杀了竞品如ActiveMQRabbitMQ等。
问题35解释术语“Log Anatomy”
答我们将日志视为分区。基本上数据源将消息写入日志。其优点之一是在任何时候都有一个或多个消费者从他们选择的日志中读取数据。下面的图表显示数据源正在写入一个日志而用户正在以不同的偏移量读取该日志。
问题36Kafka中的数据日志是什么
答我们知道在Kafka中消息会保留相当长的时间。此外消费者还可以根据自己的方便进行阅读。尽管如此有一种可能的情况是如果将Kafka配置为将消息保留24小时并且消费者可能停机超过24小时则消费者可能会丢失这些消息。但是我们仍然可以从上次已知的偏移中读取这些消息但仅限于消费者的部分停机时间仅为60分钟的情况。此外关于消费者从一个话题中读到什么Kafka不会保持状态。
问题37解释如何调整Kafka以获得最佳性能。
答因此调优Apache Kafka的方法是调优它的几个组件
调整Kafka生产者
Kafka代理调优
调整Kafka消费者
问题38Apache Kafka的缺陷
答Kafka的局限性是
没有完整的监控工具集
消息调整的问题
不支持通配符主题选择
速度问题
问题39列出所有Apache Kafka业务
答Apache Kafka的业务包括
添加和删除Kafka主题
如何修改Kafka主题
如何关机
在Kafka集群之间镜像数据
找到消费者的位置
扩展您的Kafka群集
自动迁移数据
退出服务器
数据中心
问题40解释Apache Kafka用例
答Apache Kafka有很多用例例如
Kafka指标
可以使用Kafka进行操作监测数据。此外为了生成操作数据的集中提要它涉及到从分布式应用程序聚合统计信息。
Kafka日志聚合
从组织中的多个服务收集日志。
流处理
在流处理过程中Kafka的强耐久性非常有用。
Apache Kafka对于新手的面试问题31, 32, 33, 34, 38, 39, 40
Apache Kafka对于有经验的人的面试问题35, 36, 37
问题41Kafka的一些最显著的应用。
答NetflixMozillaOracle
问题42Kafka流的特点。
答Kafka流的一些最佳功能是
Kafka Streams具有高度可扩展性和容错性。
Kafka部署到容器VM裸机云。
我们可以说Kafka流对于小型中型和大型用例同样可行。
此外它完全与Kafka安全集成。
编写标准Java应用程序。
完全一次处理语义。
而且不需要单独的处理集群。
问题43Kafka的流处理是什么意思
答连续、实时、并发和以逐记录方式处理数据的类型我们称之为Kafka流处理。
问题44系统工具有哪些类型
答系统工具有三种类型
Kafka迁移工具它有助于将代理从一个版本迁移到另一个版本。
Mirror MakerMirror Maker工具有助于将一个Kafka集群的镜像提供给另一个。
消费者检查:对于指定的主题集和消费者组它显示主题分区所有者。
问题45什么是复制工具及其类型
答为了增强持久性和更高的可用性这里提供了复制工具。其类型为
创建主题工具
列表主题工具
添加分区工具
问题46Java在Apache Kafka中的重要性是什么
答为了满足Kafka标准的高处理速率需求我们可以使用java语言。此外对于Kafka的消费者客户Java也提供了良好的社区支持。所以我们可以说在Java中实现Kafka是一个正确的选择。
问题47说明Kafka的一个最佳特征。
答Kafka的最佳特性是“各种各样的用例”。
这意味着Kafka能够管理各种各样的用例这些用例对于数据湖来说非常常见。例如日志聚合、Web活动跟踪等。
问题48解释术语“主题复制因子”。
答在设计Kafka系统时考虑主题复制是非常重要的。
问题49解释一些Kafka流实时用例。
答《纽约时报》该公司使用它来实时存储和分发已发布的内容到各种应用程序和系统使其可供读者使用。基本上它使用Apache Kafka和Kafka流。
Zalando作为ESB企业服务总线作为欧洲领先的在线时尚零售商Zalando使用Kafka。
LINE基本上为了相互通信LINE应用程序使用Apache Kafka作为其服务的中心数据中心。
问题50Kafka提供的保证是什么
答生产者向特定主题分区发送的消息的顺序相同。
此外消费者实例按照它们存储在日志中的顺序查看记录。
此外即使不丢失任何提交给日志的记录我们也可以容忍最多N-1个服务器故障。
