网站建设与运营财务报表,凡科专属网站免费注册,杭州做网站好的公司排名,wordpress 精确搜索简介 EFAK#xff08;Eagle For Apache Kafka#xff0c;以前称为 Kafka Eagle#xff09;是一款由国内公司开源的Kafka集群监控系统#xff0c;可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息#xff0c;并进行可视化图表展示。独…简介 EFAKEagle For Apache Kafka以前称为 Kafka Eagle是一款由国内公司开源的Kafka集群监控系统可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。 前提条件
需要安装dockerdocker-compose
配置文件
# system-config.properties# 指定zookeeper
######################################
# multi zookeeper kafka cluster list
######################################
# kafka.eagle.zk.cluster.aliascluster1,cluster2,cluster3
kafka.eagle.zk.cluster.aliascluster1
cluster1.zk.listzookeeper:2181######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enablefalse
cluster1.zk.acl.schemadigest
cluster1.zk.acl.usernametest
cluster1.zk.acl.passwordtest123######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size10######################################
# zk client thread limit
######################################
kafka.zk.limit.size25######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port8048######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.kafka.eagle.jmx.aclfalse
cluster1.kafka.eagle.jmx.userkeadmin
cluster1.kafka.eagle.jmx.passwordkeadmin123
cluster1.kafka.eagle.jmx.sslfalse
cluster1.kafka.eagle.jmx.truststore.location/Users/dengjie/workspace/ssl/certificates/kafka.truststore
cluster1.kafka.eagle.jmx.truststore.passwordke123456######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storagekafka
cluster2.kafka.eagle.offset.storagezookeeper######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.chartstrue
kafka.eagle.metrics.retain15######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max5000######################################
# delete kafka topic token
######################################
kafka.eagle.topic.tokenkeadmin######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enablefalse
cluster1.kafka.eagle.sasl.protocolSASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanismSCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.configorg.apache.kafka.common.security.scram.ScramLoginModule required usernamekafka passwordkafka-eagle;
cluster1.kafka.eagle.sasl.client.id
cluster1.kafka.eagle.blacklist.topics
cluster1.kafka.eagle.sasl.cgroup.enablefalse
cluster1.kafka.eagle.sasl.cgroup.topics
cluster2.kafka.eagle.sasl.enablefalse
cluster2.kafka.eagle.sasl.protocolSASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanismPLAIN
cluster2.kafka.eagle.sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required usernamekafka passwordkafka-eagle;
cluster2.kafka.eagle.sasl.client.id
cluster2.kafka.eagle.blacklist.topics
cluster2.kafka.eagle.sasl.cgroup.enablefalse
cluster2.kafka.eagle.sasl.cgroup.topics######################################
# kafka ssl authenticate
######################################
cluster3.kafka.eagle.ssl.enablefalse
cluster3.kafka.eagle.ssl.protocolSSL
cluster3.kafka.eagle.ssl.truststore.location
cluster3.kafka.eagle.ssl.truststore.password
cluster3.kafka.eagle.ssl.keystore.location
cluster3.kafka.eagle.ssl.keystore.password
cluster3.kafka.eagle.ssl.key.password
cluster3.kafka.eagle.blacklist.topics
cluster3.kafka.eagle.ssl.cgroup.enablefalse
cluster3.kafka.eagle.ssl.cgroup.topics# eagle 默认使用hadoop 存储信息
######################################
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driverorg.sqlite.JDBC
#kafka.eagle.urljdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.usernameroot
#kafka.eagle.passwordwww.kafka-eagle.org# 我们使用MySQL 进行数据存储
######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.drivercom.mysql.jdbc.Driver
kafka.eagle.urljdbc:mysql://192.168.100.100:3306/ke?useUnicodetruecharacterEncodingUTF-8zeroDateTimeBehaviorconvertToNull
kafka.eagle.usernameroot
kafka.eagle.password123456
docker-compose.yml文件
services:zookeeper:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/efak-zookeeper:3.8.1container_name: zookeeperrestart: alwaysenvironment:- ZOOKEEPER_CLIENT_PORT2181# 必须开启 允许匿名登录- ALLOW_ANONYMOUS_LOGINyes- TZAsia/Shanghaivolumes:- /etc/localtime:/etc/localtimeports:- 2181:2181networks:- bigdatakafka:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka:3.2.3container_name: kafkarestart: alwaysenvironment:- KAFKA_BROKER_ID1# 内部访问- KAFKA_CFG_LISTENERSPLAINTEXT://:9092# 外部访问 由于有端口冲突 指定为190092- KAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://192.168.182.110:19092- KAFKA_CFG_ZOOKEEPER_CONNECTzookeeper:2181- ALLOW_PLAINTEXT_LISTENERyes# 是否启用kafka Raft 模式 默认是yes 要给关闭- KAFKA_ENABLE_KRAFTno- JMX_PORT9999- TZAsia/Shanghaivolumes:- /etc/localtime:/etc/localtimeports:- 19092:9092- 9999:9999depends_on:- zookeepernetworks:- bigdatamysql-kafka:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/mysql:5.7container_name: mysql-kafkarestart: alwaysenvironment:- MYSQL_ROOT_PASSWORD123456- MYSQL_DATABASEke- TZAsia/Shanghaivolumes:- /etc/localtime:/etc/localtime- ./mysql/data:/var/lib/mysql- ./mysql/logs:/var/log/mysqlnetworks:- bigdataports:- 13306:3306eagle:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka-eagle:2.0.3container_name: eagleenvironment:- EFAK_CLUSTER_ZK_LISTzookeeper:2181# 所有的做时间同步宿主机 要不然会有时间问题- TZAsia/Shanghaivolumes:- /etc/localtime:/etc/localtime- ./system-config.properties:/kafka-eagle/conf/system-config.propertiesdepends_on:- kafkaports:- 8048:8048networks:- bigdatanetworks:bigdata:driver: bridge
访问验证
http://ip:8048
账号/密码admin/123456 参考资料
https://www.cnblogs.com/liugp/p/16307589.html
