怎样做销售产品网站,wordpress正在建设中,资金盘app开发要多少钱,手机源码网问题
记录一次软件冲突BUG#xff1a; eclipse-temurin:11-jdk#xff08;底层Ubuntu 20.04.3 LTS#xff09;镜像创建的容器在K8S-1.25.5上无法正常terminating#xff0c;造成资源浪费#xff0c;甚至引发K8S资源CPU insufficient报错。具体表现 某些容器镜像在K8S上无…问题
记录一次软件冲突BUG eclipse-temurin:11-jdk底层Ubuntu 20.04.3 LTS镜像创建的容器在K8S-1.25.5上无法正常terminating造成资源浪费甚至引发K8S资源CPU insufficient报错。具体表现 某些容器镜像在K8S上无法正常被kill掉。
环境信息
操作系统Kylin Linux Advanced Server V10 (Sword)DockerDocker version 20.10.21, build baeda1fKubeletKubernetes v1.25.5Kubeadmv1.25.5造成故障的基础镜像eclipse-temurin:11-jdk
具体版本如下
[sysmak8s-0001 ~]$ cat /etc/os-release
NAMEKylin Linux Advanced Server
VERSIONV10 (Sword)
IDkylin
VERSION_IDV10
PRETTY_NAMEKylin Linux Advanced Server V10 (Sword)
ANSI_COLOR0;31[sysmak8s-0001 ~]$ kubelet --version
Kubernetes v1.25.5
[sysmak8s-0001 ~]$ kubeadm version
kubeadm version: version.Info{Major:1, Minor:25, GitVersion:v1.25.5, GitCommit:804d6167111f6858541cef440ccc53887fbbc96a, GitTreeState:clean, BuildDate:2022-12-08T10:13:29Z, GoVersion:go1.19.4, Compiler:gc, Platform:linux/amd64}
[sysmak8s-0001 ~]$
[sysmak8s-0001 ~]$ docker --version
Docker version 20.10.21, build baeda1f
[sysmak8s-0001 ~]$ eclipse-temurin:11-jdk基础镜像的底层Linux镜像版本如下
rootcontribution-c59ff89fc-vp5p9:/# cat /etc/os-release
NAMEUbuntu
VERSION20.04.3 LTS (Focal Fossa)
IDubuntu
ID_LIKEdebian
PRETTY_NAMEUbuntu 20.04.3 LTS
VERSION_ID20.04
HOME_URLhttps://www.ubuntu.com/
SUPPORT_URLhttps://help.ubuntu.com/
BUG_REPORT_URLhttps://bugs.launchpad.net/ubuntu/
PRIVACY_POLICY_URLhttps://www.ubuntu.com/legal/terms-and-policies/privacy-policy
VERSION_CODENAMEfocal
UBUNTU_CODENAMEfocal问题描述
使用该基础镜像运行java程序的微服务容器在K8S上更新版本、自动删除、手动删除时
新创建的容器成功进入running 状态但上一版本的容器持续terminating 。手动删除terminating状态的容器无法成功。terminating状态的容器仍然正常运行正常消耗资源可正常登录其shell。通过kubectl delete pods ${POD} --grace-period0 --force -n ${NAMESPACE} 强制删除命令可以成功删除。
进一步影响 5. 造成【K8S Pod持续PendingMessage: 0/5 nodes are available/Insufficient cpu】问题。 6. 造成kube-system命名空间下系统容器重启故障包括网络插件calico、数据库etcd、控制器管理器kube-controller-manager等
解决办法
更换底层镜像再次换成alpine-Linux镜像测试多次更新、发布。此时不会出现terminating的容器。 更换的镜像底层Linux如下
bash-4.4# cat /etc/os-release
NAMEAlpine Linux
IDalpine
VERSION_ID3.8.2
PRETTY_NAMEAlpine Linux v3.8
HOME_URLhttp://alpinelinux.org
BUG_REPORT_URLhttp://bugs.alpinelinux.org
bash-4.4# 注意
软件冲突导致kube-system容器故障的关联性只是推测。目前该问题没有复现也可能是业务压力或底层资源异常造成了K8S系统容器重启。
相关截图
