监控及告警
组件说明
docker compose部署时,会自动部署如下组件,如使用源码部署,需手动开启docker-compose.yaml中的相关组件。
组件名称 | 组件说明 | 部署说明 |
---|---|---|
openim-admin | 管理后台,提供监控页面入口 | Docker和源码部署均自动开启 |
prometheus | 用于收集和存储指标数据的监控系统组件 | Docker部署自动开启;源码部署需手动启用 |
alertmanager | 管理和发送告警的组件 | Docker部署自动开启;源码部署需手动启用 |
grafana | 用于展示监控数据的仪表板组件 | Docker部署自动开启;源码部署需手动启用 |
node-exporter | 用于采集节点(如服务器)指标信息 | Docker部署自动开启;源码部署需手动启用 |
配置文件说明
文件名称 | 文件说明 | 修改项 |
---|---|---|
config/config.yaml | openIM服务配置 | prometheus.enable: true表示启用 |
config/prometheus.yml | prometheus配置 | 无需修改 |
config/instance-down-rules.yml | 告警规则 | 默认配置两条规则(instance_down, database_insert_failure_alerts) |
config/alertmanager.yml | 告警管理配置 | 需配置发送者和接收者邮箱信息 |
config/email.tmpl | 邮件告警模版 | 默认邮件模版,可自行修改 |
config/templates/prometheus-dashboard.yaml | 自定义dashboard | 无需修改 |
配置文件和告警说明
prometheus.yml 文件说明:主要用来配置告警规则文件路径,告警管理服务地址,抓取监控数据ip地址。需要把其中所有的
internal_ip
替换为自己的私网ip地址。如下:# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets: ['192.168.0.1:19093']
...如果需要添加告警文件,需要在
rule_files
下添加。默认告警文件为instance-down-rules.yml
。邮件告警架构说明图:Prometheus组件加载告警规则instance-down-rules.yml文件,将符合条件的告警信息发送到alertmanager组件,alertmanager组件加载alertmanager.yml和email.tmpl文件,通过配置的告警邮箱信息和邮件模版发送邮件
告警规则instance-down-rules.yaml文件说明:默认实现了两条(instance_down,database_insert_failure_alerts)邮件告警规则,如果增加告警规则可以在instance-down-rules.yml文件中添加规则。
groups:
- name: instance_down #报警规则一:监控模块宕机超过一分钟就触发告警
rules:
- alert: InstanceDown
expr: up == 0
for: 1m
labels:
severity: critical
annotations:
summary: "Instance {{ $labels.instance }} down"
description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 1 minutes."
- name: database_insert_failure_alerts #报警规则二:监控指标msg_insert_redis_failed_total和msg_insert_mongo_failed_total有增长就触发报警
rules:
- alert: DatabaseInsertFailed
expr: (increase(msg_insert_redis_failed_total[5m]) > 0) or (increase(msg_insert_mongo_failed_total[5m]) > 0)
for: 1m
labels:
severity: critical
annotations:
summary: "Increase in MsgInsertRedisFailedCounter or MsgInsertMongoFailedCounter detected"
description: "Either MsgInsertRedisFailedCounter or MsgInsertMongoFailedCounter has increased in the last 5 minutes, indicating failures in message insert operations to Redis or MongoDB,maybe the redis or mongodb is crash."告警管理alertmanager.yml文件说明:修改发送者和接收者邮箱配置信息,即可接收告警信息,如果想实现钉钉,企业微信等方式的告警通知,需要自行改写alertmanager.yml,可以参阅告警管理模块官方文档:https://prometheus.io/docs/alerting/latest/alertmanager/
global:
resolve_timeout: 5m
smtp_from: alert@openim.io #告警信息发送邮箱
smtp_smarthost: smtp.163.com:465 #发送邮箱smtp地址
smtp_auth_username: alert@openim.io #发送邮箱授权用户名,一般和smtp_from邮箱相同
smtp_auth_password: YOURAUTHPASSWORD #发送邮箱授权码
smtp_require_tls: false
smtp_hello: openim alert
templates:
- /etc/alertmanager/email.tmpl #邮件模版
route:
group_by: ['alertname'] # 告警分组的标签,具有相同标签值的告警会被合并到同一个通知中
group_wait: 5s # 在发送第一个告警通知之前的等待时间
group_interval: 5s # 在发送分组通知之间的间隔时间
repeat_interval: 5m # 重复发送相同告警的通知之间的间隔时间。用于定期提醒接收者仍然存在的告警。
receiver: email # 默认的接收器名称
receivers:
- name: email # # 接收器名称
email_configs:
- to: 'alert@example.com' #接收告警邮箱
html: '{{ template "email.to.html" . }}'
headers: { Subject: "[OPENIM-SERVER]Alarm" }#邮件标题
send_resolved: true # 告警解决时是否发送通知邮件模版文件email.tmpl说明:此文件是html格式,告警管理模块会填充里面的变量信息,然后渲染成html格式文件,进行邮件的发送,可根据需求自行改写:
{{ define "email.to.html" }}
{{ if eq .Status "firing" }}
{{ range .Alerts }}
<!-- Begin of OpenIM Alert -->
<div style="border:1px solid #ccc; padding:10px; margin-bottom:10px;">
<h3>OpenIM Alert</h3>
<p><strong>Alert Status:</strong> firing</p>
<p><strong>Alert Program:</strong> Prometheus Alert</p>
<p><strong>Severity Level:</strong> {{ .Labels.severity }}</p>
<p><strong>Alert Type:</strong> {{ .Labels.alertname }}</p>
<p><strong>Affected Host:</strong> {{ .Labels.instance }}</p>
<p><strong>Affected Service:</strong> {{ .Labels.job }}</p>
<p><strong>Alert Subject:</strong> {{ .Annotations.summary }}</p>
<p><strong>Trigger Time:</strong> {{ .StartsAt.Format "2006-01-02 15:04:05" }}</p>
</div>
{{ end }}
{{ else if eq .Status "resolved" }}
{{ range .Alerts }}
<!-- Begin of OpenIM Alert -->
<div style="border:1px solid #ccc; padding:10px; margin-bottom:10px;">
<h3>OpenIM Alert</h3>
<p><strong>Alert Status:</strong> resolved</p>
<p><strong>Alert Program:</strong> Prometheus Alert</p>
<p><strong>Severity Level:</strong> {{ .Labels.severity }}</p>
<p><strong>Alert Type:</strong> {{ .Labels.alertname }}</p>
<p><strong>Affected Host:</strong> {{ .Labels.instance }}</p>
<p><strong>Affected Service:</strong> {{ .Labels.job }}</p>
<p><strong>Alert Subject:</strong> {{ .Annotations.summary }}</p>
<p><strong>Trigger Time:</strong> {{ .StartsAt.Format "2006-01-02 15:04:05" }}</p>
</div>
{{ end }}
<!-- End of OpenIM Alert -->
{{ end }}
{{ end }}
登录管理后台
在浏览器中输入 http://ip:11002
来访问管理后台。此 IP 为服务端 OPENIM_IP,确保您的浏览器能访问。默认账号和密码均为 chatAdmin
![admin](/zh-Hans/assets/images/admin-a8f308c39b20d55e0c99886a1848349a.jpg)
登录grafana
先登录管理后台,再点击左侧数据监控菜单,输入默认用户名(admin)和密码(admin)登入grafana.
添加Prometheus数据源
如下图,输入Prometheus数据源的URL: http://172.28.0.1:19090 (19090为Prometheus默认端口) 点击"Save and Test"保存.
导入dashboard
点击下图的import按钮,导入仪表盘
拷贝 https://github.com/openimsdk/open-im-server/tree/main/config/grafana-template/Demo.json 内容到下图区域,接着点击load按钮
选择你的 Data Source和job , 即可导入指标信息,如下图
自定义dashboard
如下图创建一个新的dashboard(或者修改已经导入的dashboard),点击Add visualization
创建新的panel。
选择指定的数据源,输入promQL
语句,点击Run queries
,选择相应的时间范围,即可查询到相关的数据。
若要修改指标名称,可点击Options
,点击Legend
选择Custom
,输入对应的表达式
右侧可以修改panel的标题、描述、图标类型等信息,可根据需要自行选择。
修改完毕后,点击右上角Apply,即可保存panel。dashboard编辑完毕后,点击保存即可。
导入node-export的dashboard
填入1860再导入,或在官网( https://grafana.com/grafana/dashboards/ )寻找其他的node-exporter dashboard视图
node-exporter指标信息,如下图
告警体验
可手动触发instancedown告警规则,如果是源码部署openim方式,执行 make stop
命令停止openim-server服务,等待5m分钟以上,即可收到告警邮件,内容如下:
日志系统
如果是在k8s环境通过helm chart方式部署的OpenIM服务,即通过grafana查看OpenIM所有服务的日志信息。 目前二进制和docker部署没有集成loki日志收集组件,想体验loki日志收集功能,请采用helm chart部署, 详情请查阅链接https://github.com/openimsdk/helm-charts/blob/main/docs/user-guide-zh.md
自定义prometheus指标配置
在源码中pkg/common/prommetrics
中初始化相应类型指标,调用Init()
函数进行注册。
const commonPath = "/metrics"
var rpcCounter = prometheus.NewCounterVec(
prometheus.CounterOpts{
Name: "rpc_count",
Help: "Total number of RPC calls",
},
[]string{"name", "path", "code"},
)
func RpcInit(cs []prometheus.Collector, prometheusPort int) error {
reg := prometheus.NewRegistry()
cs = append(append(
baseCollector,
rpcCounter,
), cs...)
return Init(reg, prometheusPort, commonPath, promhttp.HandlerFor(reg, promhttp.HandlerOpts{Registry: reg}), cs...)
}
在程序启动过程中需要在一个独立的协程中启动初始化,初始化后会运行服务暴露数据采集端口。
在代码中相应的位置对指标进行维护:
rpcCounter.With(prometheus.Labels{"name": name, "path": path, "code": strconv.Itoa(code)}).Inc()
在prometheus
或者grafana
中,输入promQL
语句进行查询:
rpc_count
即可查询到指标信息。
常见问题
docker compose up -d
启动后,prometheus
容器一直重启。prometheus容器没启动成功一般是两个原因:
- 没有在
prometheus.yml
中配置内网ip。 - 第一次启动
prometheus
容器时可能会遇到权限问题,在open-im-server
项目下运行chmod -R 777 components
后重新启动容器即可。
- 没有在