SRE文档

深浅模式

1. 容器方式 ​

bash
docker run -d --restart=always -p 9100:9100 prom/node-exporter
docker run -d --restart=always -p 9100:9100 prom/node-exporter

1.1 docker-compose ​

yaml
version: '3'
services:
  node-exporter:
    image: prom/node-exporter
    container_name: node-exporter
    restart: always
    ports:
      - "9100:9100"
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command:
      - '--collector.processes'
      - '--no-collector.hwmon'
      - '--no-collector.dmi'
      - '--no-collector.arp'
      - '--no-collector.infiniband'
      - '--collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/containerd/.+|/var/lib/docker/.+|var/lib/kubelet/pods/.+)($|/)'
      - '--collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$'
version: '3'
services:
  node-exporter:
    image: prom/node-exporter
    container_name: node-exporter
    restart: always
    ports:
      - "9100:9100"
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command:
      - '--collector.processes'
      - '--no-collector.hwmon'
      - '--no-collector.dmi'
      - '--no-collector.arp'
      - '--no-collector.infiniband'
      - '--collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/containerd/.+|/var/lib/docker/.+|var/lib/kubelet/pods/.+)($|/)'
      - '--collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$'

2. 二进制方式 ​

2.1 下载 ​

官当

https://github.com/prometheus/node_exporter/releases

bash
wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz

#或者
curl -LO https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz

#或者
curl -LO https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz

2.2 部署 ​

  • 创建目录
bash
mkdir /opt/node_exporter
mkdir /opt/node_exporter
  • 创建用户
useradd -rs /bin/false node_exporter
useradd -rs /bin/false node_exporter
  • 解压
bash
tar xvfz node_exporter-*.*-amd64.tar.gz

cd node_exporter-*.*-amd64

mv node_exporter /opt/node_exporter

chown -R node_exporter. /opt/node_exporter
tar xvfz node_exporter-*.*-amd64.tar.gz

cd node_exporter-*.*-amd64

mv node_exporter /opt/node_exporter

chown -R node_exporter. /opt/node_exporter
  • 创建systemd
yaml
cat > /etc/systemd/system/node_exporter.service <<EOF
[Unit]
Description=Node Exporter
Documentation=https://prometheus.io/docs/guides/node-exporter/
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
User=node_exporter
Group=node_exporter
ExecStart=/opt/node_exporter/node_exporter \
		--web.listen-address=:9100 \
		--collector.processes \
		--no-collector.hwmon \
		--no-collector.dmi \
		--no-collector.arp \
		--collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/containerd/.+|/var/lib/docker/.+|var/lib/kubelet/pods/.+)($|/) \
		--collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$

Restart=on-failure
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process

[Install]
WantedBy=multi-user.target
EOF
cat > /etc/systemd/system/node_exporter.service <<EOF
[Unit]
Description=Node Exporter
Documentation=https://prometheus.io/docs/guides/node-exporter/
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
User=node_exporter
Group=node_exporter
ExecStart=/opt/node_exporter/node_exporter \
		--web.listen-address=:9100 \
		--collector.processes \
		--no-collector.hwmon \
		--no-collector.dmi \
		--no-collector.arp \
		--collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/containerd/.+|/var/lib/docker/.+|var/lib/kubelet/pods/.+)($|/) \
		--collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$

Restart=on-failure
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process

[Install]
WantedBy=multi-user.target
EOF
bash
chmod 644 /etc/systemd/system/node_exporter.service
chmod 644 /etc/systemd/system/node_exporter.service
  • 启动
bash
systemctl daemon.reload
systemctl enable --now node_exporter
systemctl daemon.reload
systemctl enable --now node_exporter

3. 指标 ​

3.1 cpu ​

1.CPU负载 ​

CPU负载是指某段时间内占用CPU时间的进程和等待CPU时间的进程数之和

node_load1
node_load5
node_load15
node_load1
node_load5
node_load15

2.CPU使用率 ​

node_cpu_seconds_total
node_cpu_seconds_total
bash
100 -avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)* 100
100 -avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)* 100

3.2 mem ​

node_memory_MemTotal_bytes    #总内存大小
node_memory_MemFree_bytes     #空闲内存大小
node_memory_Buffers_bytes     #缓冲缓存大小
node_memory_Cached_bytes      #页面缓存大小
node_memory_MemTotal_bytes    #总内存大小
node_memory_MemFree_bytes     #空闲内存大小
node_memory_Buffers_bytes     #缓冲缓存大小
node_memory_Cached_bytes      #页面缓存大小

计算的公式为：（总内存 -（空闲内存 + 缓冲缓存 + 页面缓存））/ 总内存 * 100

(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes+node_memory_Cached_bytes ))/node_memory_MemTotal_bytes * 100

swap内存使用率 ​

Swap为交换内存分区，它使用磁盘上的部分空间来充当服务器内存，当系统物理内存吃紧时，Linux 会将内存中不常访问的数据保存到 swap 上，这样系统就有更多的物理内存为各个进程服务。而当系统需要访问 swap 上存储的内容时，再将 swap 上的数据加载到内存中，这就是常说的换出和换入。交换空间可以在一定程度上缓解内存不足的情况，但是它需要读写磁盘数据，所以性能不是很高。

node_memory_SwapTotal_bytes  #swap内存总大小
node_memory_SwapFree_bytes   #swap空闲内存大小
node_memory_SwapTotal_bytes  #swap内存总大小
node_memory_SwapFree_bytes   #swap空闲内存大小

计算的公式如下：(node_memory_SwapTotal_bytes - node_memory_SwapFree_bytes)/node_memory_SwapTotal_bytes * 100

3.3 disk ​

1.分区使用率 ​

node_filesystem_size_bytes  # 分区空间总容量
node_filesystem_free_bytes  # 分区空闲容量
node_filesystem_size_bytes  # 分区空间总容量
node_filesystem_free_bytes  # 分区空闲容量
bash
(node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"})/node_filesystem_size_bytes{mountpoint="/"} * 100
(node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"})/node_filesystem_size_bytes{mountpoint="/"} * 100

2.磁盘吞吐量 ​

node_disk_read_bytes_total  #分区读总字节数
node_disk_written_bytes_total #分区写总字节数
node_disk_read_bytes_total  #分区读总字节数
node_disk_written_bytes_total #分区写总字节数

上面两个指标分别对应了分区读写的总字节数，指标为counter类型。前面文章讲过，counter类型会不断的累加，该指标直接使用对于监控没有意义，但可通过下面公式转化为磁盘的每秒读写速率。device代表对应的磁盘分区。

bash
irate(node_disk_read_bytes_total{device="vda"}[5m]) 
irate(node_disk_written_bytes_total{device="vda"}[5m])
irate(node_disk_read_bytes_total{device="vda"}[5m]) 
irate(node_disk_written_bytes_total{device="vda"}[5m])

3.磁盘IOPS ​

IOPS表示每秒对磁盘的读写次数，它与吞吐量都是衡量磁盘的重要指标

node_disk_reads_completed_total  #分区读总次数
node_disk_writes_completed_total  #分区写总次数
node_disk_reads_completed_total  #分区读总次数
node_disk_writes_completed_total  #分区写总次数

计算公式与上面相似，使用我们熟悉的irate或rate函数来处理

irate(node_disk_reads_completed_total{device="vda"}[5m])
irate(node_disk_writes_completed_total{device="vda"}[5m])
irate(node_disk_reads_completed_total{device="vda"}[5m])
irate(node_disk_writes_completed_total{device="vda"}[5m])

3.4 network ​

node_network_receive_bytes_total  #下载流量总字节数
node_network_transmit_bytes_total  #上传流量总字节数
node_network_receive_bytes_total  #下载流量总字节数
node_network_transmit_bytes_total  #上传流量总字节数

计算公式如下，此处排除Loopback 网卡

irate(node_network_receive_bytes_total{device != "lo"}[1m]
irate(node_network_receive_bytes_total{device != "lo"}[1m]