免费自助网站建站,赣州网上房地产官网,电子商务网站开发策划,网站做百度推广多少钱目的#xff1a;maxwell可以监控mysql数据变化#xff0c;并同步到kafka、mq或tcp等。
maxwell和canal区别#xff1a; maxwell更轻量#xff0c;canal把表结构也输出了 docker bootstrap可导出历史数据#xff0c;canal不能
环境 #xff1a;win10#xff0c;mysql5…目的maxwell可以监控mysql数据变化并同步到kafka、mq或tcp等。
maxwell和canal区别 maxwell更轻量canal把表结构也输出了 docker bootstrap可导出历史数据canal不能
环境 win10mysql5.7maxwell最新
1.下载和安装MAXWELL和docker
maxwell官网地址: Maxwells Daemon
win10 不支持MAXWELL只能用docker安装。
Docker for Windows安装参见Docker的安装与使用(Windows10版) - 知乎
Docker for Windows的当前版本运行在64位Windows 10 Pro专业版、企业版和教育版。不支持家庭版
装好docker后启动。
或者 Docker 下Docker的方式进行安装
2.配置 MYSQL 开启BINLOGS位置D:\soft\mysql-5.7.30-winx64\my.ini
[mysqld] 服务端配置下面添加三行其他配置勿动
server_id1
log-binmaster
binlog_formatrow
或者直接运行如下指令
mysql set global binlog_formatROW;mysql set global binlog_row_imageFULL;
配置完后重启mysql 服务net stop mysql net start mysql
maxwell需要建库、建用户和赋权
CREATE DATABASE maxwell;
GRANT ALL ON maxwell.* TO maxwell% IDENTIFIED BY maxwell;
grant select ,replication slave,replication client on *.* to maxwell%;
flush privileges;
3.compose方式安装docker maxwellMAXWELL 输出到 STDOUT 标准输出模式启
注也可以命令下载运行
docker run -it --rm zendesk/maxwell bin/maxwell --usermaxwell --passwordmaxwell --host192.168.25.5 --producerstdout
1. 目录结构新建文件夹 docker_maxwell
2. 编辑docker-compose.yml
version: 3.5
services: maxwell: image: zendesk/maxwell network_mode: host command: bin/maxwell --config /etc/maxwell/config.properties volumes: - ./conf:/etc/maxwell/ 创建conf文件夹在conf文件夹下添加 config.properties文件
注意ip要改成自己的。
daemontrue
# 第一次启动时建议改为debug可以开到mysql数据与kafka请求稳定后再改为info
log_levelinfo
#producerkafka
producerstdout
kafka.bootstrap.servers10.0.233.191:9092
# 会往 kafka下主题为test的分区下推送数据
kafka_topictest
#当producer_partition_by设置为table时Maxwell会将生成的消息根据表名称进行分区不同的表将会被分配到不同的分区中默认为database
producer_partition_bytable
client_idmaxwell_1
# mysql login info 需要先在mysql创建maxwell用户
host192.168.1.101
port3306
usermaxwell
passwordmaxwell
schema_databasemaxwell
#include_dbs maxwell
#include_tables user
4.在保证 mysql 可以访问 并且正常启动的情况下,启动下载maxwell并运行
# 进入docker_maxwell目录下
cd /.../docker_maxwell
# 启动服务
docker compose up -d
5.在docker图形化界面下查看日志Containers》docker_maxwell 6.插入一条数据查看效果如上图在maxwell存储的是元数据以外的库
INSERT INTO example.sys_user
( username, password, nickname, role_id, create_time, update_time, delete_status)
VALUES( test1, 123456, 就看看列表, 3, 2017-11-22 16:29:41.0, 2017-11-22 16:29:41.0, 1);
7配置输出到kafka配置完后需要启动kafka就行
创建conf文件夹在conf文件夹下添加 config.properties文件
注意 文件内IP替换成自己本机IP
daemontrue
# 第一次启动时建议改为debug可以开到mysql数据与kafka请求稳定后再改为info
log_levelinfo
producerkafka
kafka.bootstrap.serversIP:9092
# 会往 kafka下主题为test的分区下推送数据
kafka_topictest
#当producer_partition_by设置为table时Maxwell会将生成的消息根据表名称进行分区不同的表将会被分配到不同的分区中默认为database
producer_partition_bytable
client_idmaxwell_1
# mysql login info 需要先在mysql创建maxwell用户
hostIP
port33106
usermaxwell
passwordmaxwell
schema_databasemaxwell
