SRE文档

深浅模式

1. 系统 ​

rocklinux9.4

vmware17.0

❌ 注意

所有节点进行操作

1.1 下载 ​

bash
# 官方下载地址
https://rockylinux.org/download
# 官方下载地址
https://rockylinux.org/download
bash
# 阿里云镜像下载地址
https://mirrors.aliyun.com/rockylinux/9/isos/x86_64
# 阿里云镜像下载地址
https://mirrors.aliyun.com/rockylinux/9/isos/x86_64

1.2 配置网卡vm ​

  1. 弃用Centos7改用Rocky Linux9。
  2. 修改IP的方式有不同，不再是修改/etc/sysconfig/network-scripts/之下的脚本，系统也没有名叫network(systemd-networkd)的服务。
  3. 系统通过NetworkManger和网络connetions来管理网卡和IP
bash
[root@localhost system-connections]# cat /etc/NetworkManager/system-connections/ens160.nmconnection
[connection]
id=ens160
uuid=f22e14b7-30bf-32fe-af7f-cf378a65062c
type=ethernet
autoconnect-priority=-999
interface-name=ens160
timestamp=1723996239

[ethernet]

[ipv4]
method=manual
address1=10.103.236.150/24,10.103.236.2
dns=114.114.114.114

[ipv6]
addr-gen-mode=eui64
method=auto

[proxy]
[root@localhost system-connections]# cat /etc/NetworkManager/system-connections/ens160.nmconnection
[connection]
id=ens160
uuid=f22e14b7-30bf-32fe-af7f-cf378a65062c
type=ethernet
autoconnect-priority=-999
interface-name=ens160
timestamp=1723996239

[ethernet]

[ipv4]
method=manual
address1=10.103.236.150/24,10.103.236.2
dns=114.114.114.114

[ipv6]
addr-gen-mode=eui64
method=auto

[proxy]

只修改ip4区域

10.103.236.2网关地址

1.2.1 重启网卡 ​

bash
service NetworkManager restart	#IP配置不生效
nmcli connection reload ens160	#IP配置不生效
nmcli connection down ens160	#先断开网卡，再次连接网卡，IP配置生效。
nmcli device
nmcli connection up ens160		#先断开网卡，再次连接网卡，IP配置生效。
nmcli device
ifconfig
service NetworkManager restart	#IP配置不生效
nmcli connection reload ens160	#IP配置不生效
nmcli connection down ens160	#先断开网卡，再次连接网卡，IP配置生效。
nmcli device
nmcli connection up ens160		#先断开网卡，再次连接网卡，IP配置生效。
nmcli device
ifconfig

1.3 配置yum源 ​

bash
# Rocky 系统软件源更换成阿里云
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
    -i.bak \
    /etc/yum.repos.d/[Rr]ocky*.repo

#刷新
dnf makecache
# Rocky 系统软件源更换成阿里云
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
    -i.bak \
    /etc/yum.repos.d/[Rr]ocky*.repo

#刷新
dnf makecache

1.4 关闭防火墙 ​

bash
# 防火墙修改 firewalld 为 iptables
systemctl stop firewalld

systemctl disable firewalld

yum -y install iptables-services

systemctl start iptables

iptables -F

systemctl enable iptables
# 防火墙修改 firewalld 为 iptables
systemctl stop firewalld

systemctl disable firewalld

yum -y install iptables-services

systemctl start iptables

iptables -F

systemctl enable iptables

1.5 禁用Selinux ​

安全增强型 Linux（SELinux）是一个 Linux 内核的功能，它提供支持访问控制的安全政策保护机制

bash
# 禁用 Selinux
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
grubby --update-kernel ALL --args selinux=0
# 查看是否禁用，grubby --info DEFAULT
# 回滚内核层禁用操作，grubby --update-kernel ALL --remove-args selinux
# 禁用 Selinux
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
grubby --update-kernel ALL --args selinux=0
# 查看是否禁用，grubby --info DEFAULT
# 回滚内核层禁用操作，grubby --update-kernel ALL --remove-args selinux

1.6 设置时区 ​

bash
# 设置时区
timedatectl set-timezone Asia/Shanghai
# 设置时区
timedatectl set-timezone Asia/Shanghai

1.7 关闭swap ​

swap 的用途 ?

swap 分区就是交换分区，(windows 平台叫虚拟内存) 在物理内存不够用时，操作系统会从物理内存中把部分暂时不被使用的数据转移到交换分区，从而为当前运行的程序留出足够的物理内存空间。

为什么要关闭 swap ?

swap 启用后，在使用磁盘空间和内存交换数据时，性能表现会较差，会减慢程序执行的速度。

bash
# 关闭 swap 分区
swapoff -a
sed -i 's:/dev/mapper/rl_bogon-swap:#/dev/mapper/rl_bogon-swap:g' /etc/fstab
# 关闭 swap 分区
swapoff -a
sed -i 's:/dev/mapper/rl_bogon-swap:#/dev/mapper/rl_bogon-swap:g' /etc/fstab

1.8 安装ipvs ​

IPVS 称之为 IP虚拟服务器（IP Virtual Server，简写为 IPVS）。是运行在 LVS 下的提供负载平衡功能的一种技术。

IPVS 基本上是一种高效的 Layer-4 交换机，它提供负载平衡的功能。

IPVS 已经加入到了 Linux 内核的主干

bash
# 安装 ipvs
yum install -y ipvsadm
# 安装 ipvs
yum install -y ipvsadm

1.9 安装依赖 ​

bash
# 安装必备的工具包
yum update -y && yum -y install wget psmisc net-tools nfs-utils telnet yum-utils device-mapper-persistent-data lvm2 systemd-resolved

systemctl enable systemd-resolved --now
# 安装必备的工具包
yum update -y && yum -y install wget psmisc net-tools nfs-utils telnet yum-utils device-mapper-persistent-data lvm2 systemd-resolved

systemctl enable systemd-resolved --now

2.0 排除calico 网卡 ​

bash
# 排除 calico 网卡被 NetworkManager 所管理
cat > /etc/NetworkManager/conf.d/calico.conf << EOF 
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:tunl*
EOF

systemctl restart NetworkManager
# 排除 calico 网卡被 NetworkManager 所管理
cat > /etc/NetworkManager/conf.d/calico.conf << EOF 
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:tunl*
EOF

systemctl restart NetworkManager

❌ 注意

这个参数用于指定不由 NetworkManager 管理的设备。它由以下两个部分组成

interface-name:cali* 表示以 "cali" 开头的接口名称被排除在 NetworkManager 管理之外。例如，"cali0", "cali1" 等接口不受 NetworkManager 管理

interface-name:tunl* 表示以 "tunl" 开头的接口名称被排除在 NetworkManager 管理之外。例如，"tunl0", "tunl1" 等接口不受 NetworkManager 管理

通过使用这个参数，可以将特定的接口排除在 NetworkManager 的管理范围之外，以便其他工具或进程可以独立地管理和配置这些接口

必须配置,必须配置,必须配置,否则有可能出现以下问题

路由冲突：

  • Calico 使用 BGP（边界网关协议）来管理 Kubernetes 节点之间的网络路由。而 NetworkManager 也管理路由信息，可能会导致路由表中的冲突，特别是在管理 flannel.1 等网络接口时。如果 NetworkManager 试图更改或删除 Calico 的路由设置，可能会导致网络连接中断。

接口管理冲突：

  • NetworkManager 可能会尝试管理 Calico 创建的虚拟网络接口（如 cali* 接口）。这些接口是由 Calico 用来处理 Pod 网络流量的，如果 NetworkManager 改变这些接口的配置（如 IP 地址或 MTU），可能会导致 Pod 之间无法通信或网络不稳定。

Firewall 规则干扰：

  • Calico 依赖 iptables 来实现网络策略和防火墙规则。如果 NetworkManager 管理防火墙或使用 firewalld 服务，这可能会覆盖或冲突 Calico 所设置的规则，进而导致网络策略失效或安全问题。

多路径路由问题：

  • 如果 NetworkManager 使用多路径路由或其他高级网络功能，这些可能与 Calico 的 BGP 路由产生冲突，导致不稳定的网络行为或路径选择问题。

或者禁用NetworkManger,而使用systemd-networkd

2.1 时间服务器 ​

2.1.1 自定义 ​

bash
# 时间同步配置
# 服务端只在一个节点执行
yum install chrony -y

cat > /etc/chrony.conf << EOF 
pool ntp.aliyun.com iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 10.103.236.0/20
local stratum 10
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

systemctl restart chronyd ; systemctl enable chronyd

# 客户端
yum install chrony -y

cat > /etc/chrony.conf << EOF 
pool 10.103.236.11 iburst
pool 10.103.236.12 iburst
pool 10.103.236.13 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

systemctl restart chronyd ; systemctl enable chronyd

#使用客户端进行验证
chronyc sources -v
# 时间同步配置
# 服务端只在一个节点执行
yum install chrony -y

cat > /etc/chrony.conf << EOF 
pool ntp.aliyun.com iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 10.103.236.0/20
local stratum 10
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

systemctl restart chronyd ; systemctl enable chronyd

# 客户端
yum install chrony -y

cat > /etc/chrony.conf << EOF 
pool 10.103.236.11 iburst
pool 10.103.236.12 iburst
pool 10.103.236.13 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

systemctl restart chronyd ; systemctl enable chronyd

#使用客户端进行验证
chronyc sources -v

allow 根据自己内网ip地址修改

参数介绍

pool ntp.aliyun.com iburst指定使用ntp.aliyun.com作为时间服务器池，iburst选项表示在初始同步时会发送多个请求以加快同步速度
driftfile /var/lib/chrony/drift指定用于保存时钟漂移信息的文件路径
makestep 1.0 3设置当系统时间与服务器时间偏差大于1秒时，会以1秒的步长进行调整。如果偏差超过3秒，则立即进行时间调整
rtcsync启用硬件时钟同步功能，可以提高时钟的准确性
allow 10.103.236.0/20允许10.103.0.0/24网段范围内的主机与chrony进行时间同步
local stratum 10将本地时钟设为stratum 10，stratum值表示时钟的准确度，值越小表示准确度越高
keyfile /etc/chrony.keys指定使用的密钥文件路径，用于对时间同步进行身份验证
leapsectz right/UTC指定时区为UTC
logdir /var/log/chrony指定日志文件存放目录

2.1.2 同步公网时间 ​

bash
#安装服务
yum install chrony -y

#启动服务
systemctl enable chronyd --now

#同步时间
[root@kube-master yum.repos.d]# chronyc sources
210 Number of sources = 4
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^- tock.ntp.infomaniak.ch        1  10   377   283    -10ms[  -10ms] +/-   87ms
^- ntp8.flashdance.cx            2  10   377   192    -18ms[  -18ms] +/-  154ms
^* 139.199.215.251               2  10   377   859   -902us[ -511us] +/-   59ms
^- tick.ntp.infomaniak.ch        1  10   377   27m    +26ms[  +26ms] +/-  133ms
#安装服务
yum install chrony -y

#启动服务
systemctl enable chronyd --now

#同步时间
[root@kube-master yum.repos.d]# chronyc sources
210 Number of sources = 4
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^- tock.ntp.infomaniak.ch        1  10   377   283    -10ms[  -10ms] +/-   87ms
^- ntp8.flashdance.cx            2  10   377   192    -18ms[  -18ms] +/-  154ms
^* 139.199.215.251               2  10   377   859   -902us[ -511us] +/-   59ms
^- tick.ntp.infomaniak.ch        1  10   377   27m    +26ms[  +26ms] +/-  133ms
  • 或者
bash
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
yum install ntpdate -y

#操作如下
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com
# 加入到crontab
*/5 * * * * /usr/sbin/ntpdate time2.aliyun.com
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
yum install ntpdate -y

#操作如下
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com
# 加入到crontab
*/5 * * * * /usr/sbin/ntpdate time2.aliyun.com

2.2 配置limit ​

bash
ulimit -SHn 65535

#添加配置文件
cat >> /etc/security/limits.conf <<'EOF'
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
EOF
ulimit -SHn 65535

#添加配置文件
cat >> /etc/security/limits.conf <<'EOF'
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
EOF

soft nofile 655360 soft表示软限制，nofile表示一个进程可打开的最大文件数，默认值为1024。这里的软限制设置为655360，即一个进程可打开的最大文件数为655360。

hard nofile 131072 hard表示硬限制，即系统设置的最大值。nofile表示一个进程可打开的最大文件数，默认值为4096。这里的硬限制设置为131072，即系统设置的最大文件数为131072。

soft nproc 655350 soft表示软限制，nproc表示一个用户可创建的最大进程数，默认值为30720。这里的软限制设置为655350，即一个用户可创建的最大进程数为655350。

hard nproc 655350 hard表示硬限制，即系统设置的最大值。nproc表示一个用户可创建的最大进程数，默认值为4096。这里的硬限制设置为655350，即系统设置的最大进程数为655350。

soft memlock unlimited seft表示软限制，memlock表示一个进程可锁定在RAM中的最大内存，默认值为64 KB。这里的软限制设置为unlimited，即一个进程可锁定的最大内存为无限制。

hard memlock unlimited hard表示硬限制，即系统设置的最大值。memlock表示一个进程可锁定在RAM中的最大内存，默认值为64 KB。这里的硬限制设置为unlimited，即系统设置的最大内存锁定为无限制。

bash
sed -i 's@#UseDNS yes@UseDNS no@g' /etc/ssh/sshd_config
sed -i 's@^GSSAPIAuthentication yes@GSSAPIAuthentication no@g' /etc/ssh/sshd_config

	- UseDNS选项:
	打开状态下，当客户端试图登录SSH服务器时，服务器端先根据客户端的IP地址进行DNS PTR反向查询出客户端的主机名，然后根据查询出的客户端主机名进行DNS正向A记录查询，验证与其原始IP地址是否一致，这是防止客户端欺骗的一种措施，但一般我们的是动态IP不会有PTR记录，打开这个选项不过是在白白浪费时间而已，不如将其关闭。

	- GSSAPIAuthentication:
	当这个参数开启（ GSSAPIAuthentication  yes ）的时候，通过SSH登陆服务器时候会有些会很慢！这是由于服务器端启用了GSSAPI。登陆的时候客户端需要对服务器端的IP地址进行反解析，如果服务器的IP地址没有配置PTR记录，那么就容易在这里卡住了。
sed -i 's@#UseDNS yes@UseDNS no@g' /etc/ssh/sshd_config
sed -i 's@^GSSAPIAuthentication yes@GSSAPIAuthentication no@g' /etc/ssh/sshd_config

	- UseDNS选项:
	打开状态下，当客户端试图登录SSH服务器时，服务器端先根据客户端的IP地址进行DNS PTR反向查询出客户端的主机名，然后根据查询出的客户端主机名进行DNS正向A记录查询，验证与其原始IP地址是否一致，这是防止客户端欺骗的一种措施，但一般我们的是动态IP不会有PTR记录，打开这个选项不过是在白白浪费时间而已，不如将其关闭。

	- GSSAPIAuthentication:
	当这个参数开启（ GSSAPIAuthentication  yes ）的时候，通过SSH登陆服务器时候会有些会很慢！这是由于服务器端启用了GSSAPI。登陆的时候客户端需要对服务器端的IP地址进行反解析，如果服务器的IP地址没有配置PTR记录，那么就容易在这里卡住了。
  • ssh免密
bash
yum install -y sshpass
ssh-keygen -f /root/.ssh/id_rsa -P ''
export IP="10.103.236.151 10.103.236.152"
export SSHPASS=123456
for HOST in $IP;do
     sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $HOST
done
yum install -y sshpass
ssh-keygen -f /root/.ssh/id_rsa -P ''
export IP="10.103.236.151 10.103.236.152"
export SSHPASS=123456
for HOST in $IP;do
     sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $HOST
done

2.3 内核配置 ​

2.3.1 内核升级 ​

CentOS7 需要升级内核至4.18+，本次升级的版本为4.19，所有节点升级,,由于从8版本开始默认使用5.x以上版本

bash
#下载
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-devel-4.19.12-1.el7.elrepo.x86_64.rpm
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-4.19.12-1.el7.elrepo.x86_64.rpm

#安装
yum localinstall -y kernel-ml*

#更改内核启动顺序
grub2-set-default  0 && grub2-mkconfig -o /etc/grub2.cfg
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"

#查看内核启动版本
[root@kube-master yum.repos.d]# grubby --default-kernel
/boot/vmlinuz-4.19.12-1.el7.elrepo.x86_64

#启动所有节点
reboot

#查看版本
uname -a
#下载
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-devel-4.19.12-1.el7.elrepo.x86_64.rpm
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-4.19.12-1.el7.elrepo.x86_64.rpm

#安装
yum localinstall -y kernel-ml*

#更改内核启动顺序
grub2-set-default  0 && grub2-mkconfig -o /etc/grub2.cfg
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"

#查看内核启动版本
[root@kube-master yum.repos.d]# grubby --default-kernel
/boot/vmlinuz-4.19.12-1.el7.elrepo.x86_64

#启动所有节点
reboot

#查看版本
uname -a

2.3.2 安装ipvsadm ​

bash
yum install ipvsadm ipset sysstat conntrack libseccomp -y
yum install ipvsadm ipset sysstat conntrack libseccomp -y

配置ipvs模块 ​

第一种方式 ​

在内核4.19+版本nf_conntrack_ipv4已经改为nf_conntrack

在内核4.18以下使用nf_conntrack_ipv4

bash
cat > /etc/modules-load.d/ipvs.conf <<EOF
# 加入以下内容
ip_vs
ip_vs_lc
ip_vs_wlc
ip_vs_rr
ip_vs_wrr
ip_vs_lblc
ip_vs_lblcr
ip_vs_dh
ip_vs_sh
ip_vs_fo
ip_vs_nq
ip_vs_sed
ip_vs_ftp
ip_vs_sh
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
br_netfilter
overlay
EOF
#启动
systemctl enable --now systemd-modules-load.service
cat > /etc/modules-load.d/ipvs.conf <<EOF
# 加入以下内容
ip_vs
ip_vs_lc
ip_vs_wlc
ip_vs_rr
ip_vs_wrr
ip_vs_lblc
ip_vs_lblcr
ip_vs_dh
ip_vs_sh
ip_vs_fo
ip_vs_nq
ip_vs_sed
ip_vs_ftp
ip_vs_sh
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
br_netfilter
overlay
EOF
#启动
systemctl enable --now systemd-modules-load.service
第二种方式 ​
bash
#启动时能自动加载模块
cat >/etc/modules-load.d/containerd.conf <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
modprobe -- overlay
modprobe -- br_netfilter
EOF

#授权
chmod 755 /etc/modules-load.d/containerd.conf

#执行
sh /etc/modules-load.d/containerd.conf

#查看
[root@kube-master yum.repos.d]# lsmod |grep -e ip_vs -e nf_conntrack
nf_conntrack_netlink    40960  0
nfnetlink              16384  3 nf_conntrack_netlink,ip_set
ip_vs_ftp              16384  0
nf_nat                 32768  2 nf_nat_ipv4,ip_vs_ftp
ip_vs_sed              16384  0
ip_vs_nq               16384  0
ip_vs_fo               16384  0
ip_vs_sh               16384  0
ip_vs_dh               16384  0
ip_vs_lblcr            16384  0
ip_vs_lblc             16384  0
ip_vs_wrr              16384  0
ip_vs_rr               16384  0
ip_vs_wlc              16384  0
ip_vs_lc               16384  0
ip_vs                 151552  24 ip_vs_wlc,ip_vs_rr,ip_vs_dh,ip_vs_lblcr,ip_vs_sh,ip_vs_fo,ip_vs_nq,ip_vs_lblc,ip_vs_wrr,ip_vs_lc,ip_vs_sed,ip_vs_ftp
nf_conntrack          143360  6 xt_conntrack,nf_nat,ipt_MASQUERADE,nf_nat_ipv4,nf_conntrack_netlink,ip_vs
nf_defrag_ipv6         20480  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  4 nf_conntrack,nf_nat,xfs,ip_vs
#启动时能自动加载模块
cat >/etc/modules-load.d/containerd.conf <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
modprobe -- overlay
modprobe -- br_netfilter
EOF

#授权
chmod 755 /etc/modules-load.d/containerd.conf

#执行
sh /etc/modules-load.d/containerd.conf

#查看
[root@kube-master yum.repos.d]# lsmod |grep -e ip_vs -e nf_conntrack
nf_conntrack_netlink    40960  0
nfnetlink              16384  3 nf_conntrack_netlink,ip_set
ip_vs_ftp              16384  0
nf_nat                 32768  2 nf_nat_ipv4,ip_vs_ftp
ip_vs_sed              16384  0
ip_vs_nq               16384  0
ip_vs_fo               16384  0
ip_vs_sh               16384  0
ip_vs_dh               16384  0
ip_vs_lblcr            16384  0
ip_vs_lblc             16384  0
ip_vs_wrr              16384  0
ip_vs_rr               16384  0
ip_vs_wlc              16384  0
ip_vs_lc               16384  0
ip_vs                 151552  24 ip_vs_wlc,ip_vs_rr,ip_vs_dh,ip_vs_lblcr,ip_vs_sh,ip_vs_fo,ip_vs_nq,ip_vs_lblc,ip_vs_wrr,ip_vs_lc,ip_vs_sed,ip_vs_ftp
nf_conntrack          143360  6 xt_conntrack,nf_nat,ipt_MASQUERADE,nf_nat_ipv4,nf_conntrack_netlink,ip_vs
nf_defrag_ipv6         20480  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  4 nf_conntrack,nf_nat,xfs,ip_vs

2.3.3 配置内核参数 ​

bash
cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
net.ipv4.conf.all.route_localnet = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
net.ipv6.conf.lo.disable_ipv6 = 0
net.ipv6.conf.all.forwarding = 1
EOF
cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
net.ipv4.conf.all.route_localnet = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
net.ipv6.conf.lo.disable_ipv6 = 0
net.ipv6.conf.all.forwarding = 1
EOF
  • 重新加载
sysctl --system
sysctl --system
  • 重启所有系统，查看模块是否加载好
bash
reboot

lsmod | grep --color=auto -e ip_vs -e nf_conntrack
reboot

lsmod | grep --color=auto -e ip_vs -e nf_conntrack

2.4 systemd-journald ​

bash
cat >> /etc/systemd/journald.conf <<EOF
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=1G
# 单日志文件最大 200M
SystemMaxFileSize=10M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
cat >> /etc/systemd/journald.conf <<EOF
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=1G
# 单日志文件最大 200M
SystemMaxFileSize=10M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
  • 启动
bash
systemctl restart systemd-journald && systemctl enable systemd-journald
systemctl restart systemd-journald && systemctl enable systemd-journald

2.5 cgroup采用v1,v2 ? ​

systemd.unified_cgroup_hierarchy=0：启用 cgroupv1，禁用 cgroupv2

2.5.1 查看当前状态 ​

bash
#代表是v2
[root@kube-master-01 ~]# mount | grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot)
#代表是v2
[root@kube-master-01 ~]# mount | grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot)

2.5.2 修改v1 ​

vim /etc/default/grub
vim /etc/default/grub

示例修改前：

GRUB_CMDLINE_LINUX="rhgb quiet"
GRUB_CMDLINE_LINUX="rhgb quiet"

示例修改后：

GRUB_CMDLINE_LINUX="rhgb quiet systemd.unified_cgroup_hierarchy=0"
GRUB_CMDLINE_LINUX="rhgb quiet systemd.unified_cgroup_hierarchy=0"
  • 更新 GRUB 配置

对于 BIOS 系统：

sudo grub2-mkconfig -o /boot/grub2/grub.cfg
sudo grub2-mkconfig -o /boot/grub2/grub.cfg

对于 UEFI 系统：

sudo grub2-mkconfig -o /boot/efi/EFI/rocklinux/grub.cfg
sudo grub2-mkconfig -o /boot/efi/EFI/rocklinux/grub.cfg

继续修改,

bash
cd /boot/loader/entries/

vim e3c5308bc67d4a8faf3a4dc0752f7916-5.14.0-427.13.1.el9_4.x86_64.conf

#在options中添加systemd.unified_cgroup_hierarchy=0
options root=/dev/mapper/rl_bogon-root ro resume=/dev/mapper/rl_bogon-swap rd.lvm.lv=rl_bogon/root rd.lvm.lv=rl_bogon/swap rhgb quiet systemd.unified_cgroup_hierarchy=0 selinux=0
cd /boot/loader/entries/

vim e3c5308bc67d4a8faf3a4dc0752f7916-5.14.0-427.13.1.el9_4.x86_64.conf

#在options中添加systemd.unified_cgroup_hierarchy=0
options root=/dev/mapper/rl_bogon-root ro resume=/dev/mapper/rl_bogon-swap rd.lvm.lv=rl_bogon/root rd.lvm.lv=rl_bogon/swap rhgb quiet systemd.unified_cgroup_hierarchy=0 selinux=0
#重启系统
reboot
#重启系统
reboot
  • 验证是否修改成v1,出现下面代表成功
bash
[root@kube-node-02 ~]# mount |grep cgroup
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,size=4096k,nr_inodes=1024,mode=755,inode64)
cgroup2 on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/misc type cgroup (rw,nosuid,nodev,noexec,relatime,misc)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
[root@kube-node-02 ~]# mount |grep cgroup
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,size=4096k,nr_inodes=1024,mode=755,inode64)
cgroup2 on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/misc type cgroup (rw,nosuid,nodev,noexec,relatime,misc)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)

2.5.3 container2.x ​

containerd2.x 开始支持v2