柳州房地产网站建设,站长网站的优势,网页设计与制作黄俊峰,陈木胜老婆Flink任务缺失Jobmanager日志的问题排查
问题不是大问题#xff0c;不是什么代码级别的高深问题#xff0c;也没有影响任务运行#xff0c;纯粹因为人员粗心导致#xff0c;记录一下排查的过程。
问题描述
一个生产环境的奇怪问题#xff0c;环境是flink1.15.0 on yarn…Flink任务缺失Jobmanager日志的问题排查
问题不是大问题不是什么代码级别的高深问题也没有影响任务运行纯粹因为人员粗心导致记录一下排查的过程。
问题描述
一个生产环境的奇怪问题环境是flink1.15.0 on yarn3.2.2的研发人员反馈业务正常运行但是最近变更算法替换新包的时候有业务异常然后需要排查日志的时候发现没有日志打开Jobmanager日志就会一直转圈 排查过程
页面因为一直转圈就看了下控制台请求报错是404找不到对应的日志文件 检查了一下ApplicationMaster的启动日志看到在容器启动的时候是有传入相关的log.file参数的所以基本排除提交命令这块的问题
echo Launching container
exec /bin/bash -c $JAVA_HOME/bin/java -Xmx3462817376 -Xms3462817376 -XX:MaxMetaspaceSize268435456 -Dlog.file/data3/yarn/logs/userlogs/application_1667318330721_0144/container_e37_1667318330721_0144_03_000001/jobmanager.log -Dlog4j.configurationfile:log4j.properties -Dlog4j.configurationFilefile:log4j.properties org.apache.flink.yarn.entrypoint.YarnApplicationClusterEntryPoint -D jobmanager.memory.off-heap.size134217728b -D jobmanager.memory.jvm-overhead.min429496736b -D jobmanager.memory.jvm-metaspace.size268435456b -D jobmanager.memory.heap.size3462817376b -D jobmanager.memory.jvm-overhead.max429496736b 1 /data3/yarn/logs/userlogs/application_1667318330721_0144/container_e37_1667318330721_0144_03_000001/jobmanager.out 2 /data3/yarn/logs/userlogs/application_1667318330721_0144/container_e37_1667318330721_0144_03_000001/jobmanager.err 因为这个环境早前有把flink从1.13.2升级到1.15.0的情况又验证了一下版本是不是有问题使用1.13.2提交一个example任务
/usr/local/flink/bin/flink run-application -t yarn-application -Dtaskmanager.numberOfTaskSlots1 -Djobmanager.memory.process.size4096m -Dtaskmanager.memory.process.size6144m -Dyarn.provided.lib.dirsviewfs://nsX/ns7/user/flink_lib -Dyarn.application.nameFlink-Test -Dyarn.flink-dist-jarviewfs://nsX/ns7/user/flink_lib/flink-dist-1.13.2.jar SocketWindowWordCount.jar --hostname localhost --port 22你还别说真就打出日志了 对比了一下AM的的web日志页发现1.15启动的缺少jobmanager.log文件 依次检查了log4j的相关配置新旧版本也没有区别又看了一眼提交命令提交命令里有一个指定依赖目录的参数yarn.provided.lib.dirs瞅一眼看看是不是有问题 好嘛看着1.13.2的依赖目录和1.15.0比差了几个log4j的包把相应的包补齐到1.15.0的目录里再提交任务一切正常
