更多prometheus语句：查看 https://zhuanlan.zhihu.com/p/434360311?utm_id=0

cpu使用率

topk(5,(1 - avg(rate(node_cpu_seconds_total{instance!~"192.168.48.100:9100", mode="idle"}[5m])) by (instance)) * 100  )
# .+表示尽可能多的去匹配
topk( 5 , (1 - avg(rate(node_cpu_seconds_total{instance=~".+",mode="idle"}[5m])) by (instance))*100) 

内存使用率

# job名称不等于空都被匹配
topk( 5 , 100 * ( 1 - ( node_memory_MemFree_bytes + node_memory_Cached_bytes + node_memory_Buffers_bytes ) / node_memory_MemTotal_bytes {job!=""} ) )

# 直接匹配,不进行筛选
topk( 5 , 100 * ( 1 -
 ( node_memory_MemFree_bytes + node_memory_Cached_bytes + node_memory_Buffers_bytes ) / node_memory_MemTotal_bytes ) )  

匹配node的根目录占用大小

#匹配根目录,类型正则匹配xfs类型和ext后面没有或至少有一个内容
topk( 5 , ( 1 - node_filesystem_avail_bytes / node_filesystem_size_bytes{mountpoint="/",fstype=~"ext.?|xfs"} ) * 100 ) 

匹配node主机远程挂载目录占用大小

# 不匹配根目录,设备不匹配/dev.*|tmpfs|rootfs|gvfs.*
topk( 3 , ( 1 - node_filesystem_avail_bytes / node_filesystem_size_bytes{mountpoint!~"/",device!~"/dev.*|tmpfs|rootfs|gvfs.*"} ) * 100 )  

匹配node主机除根本地目录占用大小

topk(5,100 - node_filesystem_avail_bytes *100/(node_filesystem_size_bytes{mountpoint!="/",fstype=~"ext.?|xfs"}))

匹配node主机inode占用大小

topk( 3 , ( 1 - node_filesystem_files_free / node_filesystem_files{mountpoint="/",fstype=~"ext.?|xfs"} ) * 100 )

匹配node主机流量使用情况

# 除回环网卡都匹配
# node_network_transmit_bytes_total(上行带宽)
# node_network_receive_bytes_total(下载带宽)
topk(2,rate(node_network_transmit_bytes_total{device!~"lo"}[5m])*8/1024/1024)

匹配node是否掉线

# grafana匹配A记录,当node主机掉线,会告警显示
up{job=~"job名称|job名称2|ali-ctv"}==0
# 显示不是以kube.*当做job名称掉线的机器
up{job!~"kube.*"}==0  

# grafana匹配B记录,count函数把job中在线的主机全部统计总数
count( up{job=~"job名称|job名称2|ali-ctv"} == 1)

匹配node上业务端口是否掉线

# 匹配特定端口掉线使用black_box(黑盒)
probe_http_status_code{} != 200 #匹配特定端口不是200状态的,有的话说明已掉线
count( probe_http_status_code{} == 200 ) # 统计端口能够200状态的
count by (instance) (probe_success{标签="192.168.48.100:9100"} == 0)

匹配node上负载使用情况

topk(2,(avg by(instance)(node_load5{instance !="192.168.48.100:9100"})) / (count by(instance)(node_cpu_seconds_total{mode="system",instance !="192.168.48.100:9100"})) )

node主机重启告警

# 当前时间-主机重启后的时间 < 7200
(time()-node_boot_time_seconds)  < 7200

匹配windows内存和磁盘使用率

# 匹配内存使用率
topk(3,(100 - 100 * windows_os_physical_memory_free_bytes / windows_cs_physical_memory_bytes))
# 匹配磁盘使用率
topk(3,100 - (windows_logical_disk_free_bytes / windows_logical_disk_size_bytes)*100)

其他相关查看

# 匹配空连接
node_netstat_Tcp_closewait
# 单核cpu压力
 topk(10, (1 - (rate(node_cpu_seconds_total{instance=~"192.168.48.(114|106|113):9100|192.168.49.(74|90|91|92|68):9100",mode="idle"}[2m])))*100)
# 查看nas存储占用大小(不做任何运算,显示的是字节,/1024显示的越大)
node_filesystem_size_bytes{mountpoint!~"/",fstype=~"fuse.*|cifs.*|nfs.*",device=~"isilon-01.hcs.cctv.com:/ifs/data/MLS_lunbonas0(2|4)|hw05.nas.stg.cctv.com:/Data/MLS_lunbonas0(1|5|6|3)"}/1024/1024/1024