上海高端网站搭建,公众号开发是不是网站开发,免费一键建站官网大全,移动互联网开发招人目录
1.Windows安装zookeeper#xff1a;
1.1下载zookeeper
1.2 解压之后如图二
1.3创建日志文件
1.4复制 “zoo_sample.cfg” 文件
1.5更改 “zoo.cfg” 配置
1.6新建zk_server_jaas.conf
1.7修改zkEnv.cmd
1.8导入相关jar
1.9以上配置就配好啦#xff0c;接下来启…
目录
1.Windows安装zookeeper
1.1下载zookeeper
1.2 解压之后如图二
1.3创建日志文件
1.4复制 “zoo_sample.cfg” 文件
1.5更改 “zoo.cfg” 配置
1.6新建zk_server_jaas.conf
1.7修改zkEnv.cmd
1.8导入相关jar
1.9以上配置就配好啦接下来启动。
1.10连接测试
2.Windows下安装运行kafka
2.1下载kafka
2.2 新建kafka_server_jaas.conf
2.3 新建kafka_client_jaas.conf
2.4 新建kafka_topic_jaas.properties
2.5 修改server.properties配置文件
2.6 修改consumer.properties和producer.properties
2.7 修改kafka-server-start.bat
2.8 修改kafka-console-consumer.bat和kafka-console-producer.bat
2.9 启动kafka
2.10 测试
1创建主题
2生产消息
3消费消息
4) 查看主题配置
5)查看主题消息日志
3.将kafka安装为windows服务
3.1安装NSSM
3.2 kafka安装成win服务
3.3 zookeeper安装为windows服务
3.4 BAT一键安装为Windows服务
3.5 nssm常用命令
3.6总结
4.confluent简介
4.1官网
4.2下载地址
4.3物理机安装参考
4.4 docker安装参考
4.4 Confluent的组件
4.5 Confluent的安装
4.5.1下载地址
4.5.2下载confluent-7.2.1
4.5.3解压到指定目录下
4.5.4配置zookeeper
4.5.5配置kafka的broker
4.5.6配置rest proxy
4.5.7配置schema registry
4.5.8启动kafka-rest
4.5.9启动zookeeper
4.5.10启动kafka broker
4.5.11启动schema registry
4.6测试使用
4.6.1查看topics
4.6.2查看集群的brokers
4.6.3注册consumer group
4.6.4把topic和消费者my_consumer关联起来
4.6.5通过rest接口向bear push数据
4.6.6通过rest接口消费数据
4.6.7删除注册的consumer实例
4.6.8更多信息参考 1.Windows安装zookeeper
1.1下载zookeeper
http://zookeeper.apache.org/releases.html选择自己需要的版本并解压。
坑一我下载的是“apache-zookeeper-3.8.2”配置完成之后启动的时候发现报错如图一 图一
结果发现从目前的最新版本3.5.5开始带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。如果下载3.5.5以后的版本的Zookeeper安装包需要下载带有bin标识的包就不会有问题了。(参考https://www.cnblogs.com/zhoading/p/11593972.html)
1.2 解压之后如图二 图二
1.3创建日志文件
在上图目录下创建文件夹 data和log如图三 图三
1.4复制 “zoo_sample.cfg” 文件
并重命名为 “zoo.cfg”如图四 图四 1.5更改 “zoo.cfg” 配置
为自己创建的文件夹 data 和 log 的路径如图五。
dataDirD:\\Java\\apache-zookeeper-3.8.2-bin\\data
dataLogDirD:\\Java\\apache-zookeeper-3.8.2-bin\\log
配置安全认证
authProvider.1org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthSchemesasl
jaasLoginRenew3600000 图五
我一开始用的单斜杠会出现图六的一个警告。 图六
1.6新建zk_server_jaas.conf
在Zookeeper安装目录conf中新建zk_server_jaas.conf文件添加如下内容
Server { org.apache.kafka.common.security.plain.PlainLoginModule required usernameadmin passwordadmin- secret;
};
1.7修改zkEnv.cmd
在Zookeeper安装目录bin中打开zkEnv.cmd进行编辑在该文件中set ZOO_LOG_DIR%~dp0%..\logs下一行加入如下配置注意上述配置是斜杠不是反斜杠
set SERVER_JVMFLAGS-Djava.security.auth.login.configD:/Java/apache-zookeeper-3.8.2-bin/config/zk_server_jaas.conf
1.8导入相关jar
在Kafka安装目录libs中分别找到如下jar复制它们到Zookeeper安装目录的lib中即可
kafka-clients-3.5.1.jar lz4-java-1.8.0.jar slf4j-api-1.7.36.jar slf4j-reload4j-1.7.36.jar snappy-java-1.1.10.1.jar
1.9以上配置就配好啦接下来启动。
直接双击bin 目录下的 “zkServer.cmd如图七 图七 启动完成如图八。 图八
1.10连接测试
双击bin目录下的 zkCli.cmd如图九 图九 2.Windows下安装运行kafka
2.1下载kafka
http://kafka.apache.org/downloads.html 注意下载binary版本的 2.2 新建kafka_server_jaas.conf
在Kafka安装目录config中新建kafka_server_jaas.conf文件添加如下内容
KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required usernameadmin passwordadmin-secret user_adminadmin-secret;
};
说明在KafkaServer部分username和password是broker用于初始化连接到其他的broker在上面配置中admin用户为broker间的通讯。 user_userName定义了所有连接到broker和broker验证的所有的客户端连接包括其他broker的用户密码user_userName必须配置admin用户否则会报错
2.3 新建kafka_client_jaas.conf
在Kafka安装目录config中新建kafka_client_jaas.conf文件添加如下内容
KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required usernameadmin passwordadmin-secret;
};
说明在KafkaClient部分username和password是客户端用来配置客户端连接broker的用户
2.4 新建kafka_topic_jaas.properties
在Kafka安装目录config中新建kafka_topic_jaas.properties文件添加如下内容
sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required usernameadmin passwordadmin-secret;
security.protocolSASL_PLAINTEXT
sasl.mechanismPLAIN 2.5 修改server.properties配置文件
在Kafka安装目录config中打开server.properties进行编辑在该文件中加入如下配置
# 内网ip
listenersSASL_PLAINTEXT://192.168.0.108:9092
# 外网ip
#advertised.listenersSASL_PLAINTEXT://192.168.0.108:9092
# 使用的认证协议
security.inter.broker.protocolSASL_PLAINTEXT
# SASL机制
sasl.enabled.mechanismsPLAIN
sasl.mechanism.inter.broker.protocolPLAIN
# 完成身份验证的类
#authorizer.class.namekafka.security.auth.SimpleAclAuthorizer
# 如果没有找到ACL访问控制列表配置则允许任何操作。
allow.everyone.if.no.acl.foundfalse
auto.create.topics.enabletrue
delete.topic.enabletrue
super.usersUser:admin
2.6 修改consumer.properties和producer.properties 在Kafka安装目录config中打开consumer.properties和producer.properties进行编辑在该文件中加入如下配置
security.protocolSASL_PLAINTEXT
sasl.mechanismPLAIN
修改consumer.propertie中group.idTestGroup若有多个消费客户端需保证group.id不重复否则无法同时消费消息
2.7 修改kafka-server-start.bat
在Kafka安装目录bin\windows中打开kafka-server-start.bat进行编辑在该文件中SetLocal关键字下一行加入如下配置
set KAFKA_OPTS-Djava.security.auth.login.configfile:%~dp0../../config/kafka_server_jaas.conf
2.8 修改kafka-console-consumer.bat和kafka-console-producer.bat
在Kafka安装目录bin\windows中打开kafka-console-consumer.bat和kafka-console-producer.bat进行编辑在该文件中SetLocal关键字下一行加入如下配置
set KAFKA_OPTS-Djava.security.auth.login.configfile:%~dp0../../config/kafka_client_jaas.conf
2.9 启动kafka
winR 输入cmd打开命令窗口进入安装目录 D:\Java\kafka_2.13-3.5.1输入以下命令 ( 成功之后不要关闭窗口)
.\bin\windows\kafka-server-start.bat config\server.properties 2.10 测试
1创建主题
打开一个新的命令窗口进入安装目录D:\Java\kafka_2.13-3.5.1输入以下命令 ( 成功之后不要关闭窗口)
.\bin\windows\kafka-topics.bat --create --bootstrap-server 192.168.0.108:9092 --replication-factor 1 --partitions 1 --topic mdlp --command-config config\kafka_topic_jaas.properties 查看所有主题命令
.\bin\windows\kafka-topics.bat --list --bootstrap-server 192.168.0.108:9092 --command-config config\kafka_topic_jaas.properties 2生产消息
打开一个新的命令窗口进入安装目录 D:\Java\kafka_2.13-3.5.1输入以下命令 ( 成功之后不要关闭窗口)
.\bin\windows\kafka-console-producer.bat --broker-list 192.168.0.108:9092 --topic mdlp --producer.config config\producer.properties
输入内容hello word 3消费消息
打开一个新的命令窗口进入安装目录 D:\Java\kafka_2.13-3.5.1输入以下命令 ( 成功之后不要关闭窗口)
.\bin\windows\kafka-console-consumer.bat --bootstrap-server 192.168.0.108:9092 --topic mdlp --consumer.config config\consumer.properties 这里接收生产者的消息。
4) 查看主题配置
打开一个新的命令窗口进入安装目录 D:\Java\kafka_2.13-3.5.1输入以下命令 ( 成功之后不要关闭窗口)
.\bin\windows\kafka-configs.bat --bootstrap-server 192.168.0.108:9092 --entity-type topics --entity-name mdlp --describe --command-config config\kafka_topic_jaas.properties 5) 查看主题消息日志
打开一个新的命令窗口进入安装目录 D:\Java\kafka_2.13-3.5.1输入以下命令 ( 成功之后不要关闭窗口)
.\bin\windows\kafka-run-class.bat kafka.tools.DumpLogSegments --print-data-log --files kafka-logs\mdlp-0\00000000000000000000.log 3.将kafka安装为windows服务
3.1安装NSSM
NSSM是一个服务封装程序它可以将普通exe、bat、以及任何程序封装成服务使之像windows服务一样运行就像一个服务壳一样将你的程序包在NSSM里面。
NSSM如何使用
下载NSSM download.根据自己的平台将32/64位nssm.exe文件解压至任意文件夹。cmd定位至nssm.exe所在目录。输入 nssm install {服务名称}即注册服务的名称。注册服务弹出如下NSSM界面。
3.2 kafka安装成win服务
按照上面的步骤操作就可以了核心就是下面的截图也可以添加依赖服务。
Path: D:\Java\kafka_2.13-3.5.1\bin\windows\kafka-server-start.bat Startup directory: D:\Java\kafka_2.13-3.5.1\bin\windows Arguments: D:\Java\kafka_2.13-3.5.1\config\server.properties Path参数为kafka的启动命令一般在windows目录。Startup directory为启动目录Arguments是启动参数只有启动参数需要手工填一下当你在Path点右边按钮选择后会自动的填上前面2个参数。自己操作体验下就明白了。完了之后点击 Install Service 就可以了。
如果有依赖服务按下图所示填上即可。 3.3 zookeeper安装为windows服务
zookeeper也是可以安装为windows服务的操作如下图所示 没有参数就不用填。如果嫌界面操作比较麻烦可以制作成批处理文件一次性安装完毕。
3.4 BAT一键安装为Windows服务
echo off echo 安装zookeeper nssm install zookeeper D:\Java\apache-zookeeper-3.8.2-bin\bin\zkServer.cmd echo 安装kafka nssm install kafka D:\Java\kafka_2.13-3.5.1\bin\windows\kafka-server-start.bat D:\Java\kafka_2.13-3.5.1\config\server.properties echo 启动zookeeper服务nssm start zookeeper echo 启动kafka服务nssm start kafka pause
上面的命令是通过批处理文件一键安装为windows服务并且启动zookeeper和kafka服务。你可以直接拿过去使用注意需要修改下参数例如将D:\Java\apache-zookeeper-3.8.2-bin\bin\zkServer.cmd修改为你服务器上的zookeeper目录而D:\Java\kafka_2.13-3.5.1\bin\windows\kafka-server-start.bat D:\Java\kafka_2.13-3.5.1\config\server.properties也是对应的修改为kafka的路径。
如果要卸载的话使用下面的bat即可。
echo off echo 卸载zookeeper nssm remove zookeeper confirm echo 卸载kafka nssm remove kafka confirm pause
将以上代码复制下来用记事本新建一个文件粘贴进去并将后缀改为bat即可使用时双击运行就完事了。
3.5 nssm常用命令
nssm install servername //创建servername服务nssm start servername //启动服务nssm stop servername //暂停服务nssm restart servername //重新启动服务nssm remove servername //删除创建的servername服务
3.6总结
NSSM可以将控制台程序一样的安装为服务再配合定时任务可以做好多事情。
4.confluent简介 confluent是平台化的工具封装了kafka让我们可以更方便的安装和使用监控kafka作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出Apache Kafka的团队成员基于这项技术创立了新公司ConfluentConfluent的产品也是围绕着Kafka做的。 4.1官网
https://www.confluent.io 4.2下载地址
https://www.confluent.io/download/
4.3物理机安装参考
https://docs.confluent.io/platform/current/quickstart/ce-docker-quickstart.html#cos-quickstart
4.4 docker安装参考
https://docs.confluent.io/platform/current/quickstart/ce-docker-quickstart.html#cos-docker-quickstart
对比之后感觉比原生的kafka安装简单很多容器是docker容器的版本对于我们在k8s中使用很方便。 4.4 Confluent的组件
Confluent Platform 包括更多的工具和服务使构建和管理数据流平台更加容易。
Confluent Control Center闭源。管理和监控Kafka最全面的GUI驱动系统。
Confluent Kafka Connectors开源。连接SQL数据库/Hadoop/Hive
Confluent Kafka Clients开源。对于其他编程语言包括C/C,Python
Confluent Kafka REST Proxy开源。允许一些系统通过HTTP和kafka之间发送和接收消息。
Confluent Schema Registry开源。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。 4.5 Confluent的安装
4.5.1下载地址
http://www.confluent.io/download
打开后显示最新版本在右边填写信息后点击Download下载。
本次我们主要使用REST Proxy当然底层的broker也是使用confluent的kafka组件下面简述安装步骤 4.5.2下载confluent-7.2.1
Wget https://packages.confluent.io/archive/7.2/confluent-community-7.2.1.tar.gz
tar -xvf confluent-community-7.2.1.tar.gz 4.5.3解压到指定目录下
通过查看目录的内容能够发现confluent里面是含有kafka的也就是说如果你没有安装kafka那么可以通过confluent直接对kafka进行安装。如果已经安装了kafka可以使用confluent提供的插件。
自定义配置
我们可以配置自己需要的和对应配置信息
进入解压出来的confluent-7.2.1
cd confluent-7.2.1
4.5.4配置zookeeper
vi etc/kafka/zookeeper.properties
内容如下
dataDir/confluent-7.2.1/data/zookeeper
clientPort2181
maxClientCnxns0
4.5.5配置kafka的broker
vi etc/kafka/server.properties
内容如下
broker.id0
delete.topic.enabletrue
listenersPLAINTEXT://192.168.176.131:9092
num.network.threads3
num.io.threads8
socket.send.buffer.bytes102400
socket.receive.buffer.bytes102400
socket.request.max.bytes104857600
log.dirs/confluent-7.2.1/data/kafka
num.partitions1
num.recovery.threads.per.data.dir1
log.retention.hours168
log.segment.bytes1073741824
log.retention.check.interval.ms300000
zookeeper.connect192.168.176.131:2181
zookeeper.connection.timeout.ms6000
confluent.support.metrics.enabletrue
confluent.support.customer.idanonymous
4.5.6配置rest proxy
vi etc/kafka-rest/kafka-rest.properties
内容如下
idkafka-rest-server
#zookeeper.connect192.168.176.131:2181
bootstrap.serversPLAINTEXT://192.168.176.131:9092
4.5.7配置schema registry
vi etc/schema-registry/schema-registry.properties
内容如下
listenershttp://192.168.176.131:8081
kafkastore.connection.url192.168.176.131:2181
kafkastore.bootstrap.serversPLAINTEXT://192.168.176.131:9092
kafkastore.topic_schemas
debugfalse
启动服务
4.5.8启动kafka-rest
bin/kafka-rest-start etc/kafka-rest/kafka-rest.properties
上面的这种方式是前台启动也可以以后台方式启动。
nohup bin/kafka-rest-start etc/kafka-rest/kafka-rest.properties
4.5.9启动zookeeper
bin/zookeeper-server-start etc/kafka/zookeeper.properties
4.5.10启动kafka broker
bin/kafka-server-start etc/kafka/server.properties
4.5.11启动schema registry
bin/schema-registry-start etc/schema-registry/schema-registry.properties
4.6测试使用
4.6.1查看topics
浏览器访问或者curl都可以
http://192.168.176.131:8082/topics
4.6.2查看集群的brokers
curl http://192.168.176.131:8082/brokers
4.6.3注册consumer group
curl -X POST -H Content-Type:application/vnd.kafka.v2json -H Accept: application/vnd.kafka.v2json --data {name: my_consumer_instance, format: json, auto.offset.reset: earliest} http://192.168.176.131:8082/consumers/my_test_consumer 4.6.4把topic和消费者my_consumer关联起来
curl -X POST -H Content-Type:application/vnd.kafka.v2json --data {topics:[bear]} http://192.168.176.131:8082/consumers/my_test_consumer/instances/my_consumer_instance/subscription 4.6.5通过rest接口向bear push数据
curl -X POST -H Content-Type:application/vnd.kafka.json.v2json --data {records:[{value:{name: testUser}}]} http://192.168.176.131:8082/topics/bear 4.6.6通过rest接口消费数据
curl -X GET -H Accept:application/vnd.kafka.json.v2json http://192.168.176.131:8082/consumers/my_test_consumer/instances/my_consumer_instance/records 4.6.7删除注册的consumer实例
curl -X DELETE -H Accept:application/vnd.kafka.v2json http://192.168.176.131:8082/consumers/my_test_consumer/instances/my_consumer_instance
4.6.8更多信息参考
https://github.com/confluentinc/kafka-rest
