成都专业的整站优化,零基础企业管理培训课程,网站网络营销方案,电子商务就是网络营销一、Linux环境要求 二、准备工作 2.1 Linux安装jdk 2.2 linux安装python 2.3 下载DataX#xff1a; 三、DataX压缩包导入#xff0c;解压缩 四、编写同步Job 五、执行Job 六、定时更新 6.1 创建定时任务 6.2 提交定时任务 6.3 查看定时任务 七、增量更新思路 一、Linux环境要…一、Linux环境要求 二、准备工作 2.1 Linux安装jdk 2.2 linux安装python 2.3 下载DataX 三、DataX压缩包导入解压缩 四、编写同步Job 五、执行Job 六、定时更新 6.1 创建定时任务 6.2 提交定时任务 6.3 查看定时任务 七、增量更新思路 一、Linux环境要求 jdk1.8及以上 python2 2.3 下载DataX
三、DataX压缩包导入解压缩 四、编写同步Job 在datax/job下json格式具体内容及主要配置含义如下
mysqlreader为读取mysql数据部分配置mysql相关信息 username,password为数据库账号密码 querySql需要查询数据的sql也可通过colums指定需要查找的字段querySql优先级高 elasticsearchwriter部分为数据写入ES部分配置ES相关信息 endpoint为ES地址index为索引columns为需要写入列的信息其余配置选填
修改 vim /opt/software/datax/job/job.json
{job: {setting: {speed: {channel: 1},errorLimit: {percentage: 0}},content: [{reader: {name: mysqlreader,parameter: {username: akk,password: 8686,connection: [{querySql: [select id,sku,write_date from good],jdbcUrl: [jdbc:mysql://192.168.33.10:3306/ichub2?useSSLfalse]}]}},writer: {name: elasticsearchwriter,parameter: {endpoint:http://192.168.33.10:9200,accessId:,accessKey:,index: good-sku,cleanup: false,discovery:false,column: [{name: id,type: id},{name: sku,type: text},{name: write_date,type: text}]}}}]}
}
五、执行Job
配置好之后执行命令
python /htdocs/javaproject/datax/bin/datax.py /htdocs/javaproject/datax/job/job.json意换成自己的datax路径
正常情况下输出一大堆之后会是这样 可以看到完全同步成功 实际上这种全量同步我们完全可以放在springboot 的微服务里面去做同步
