ConsulManager应用场景1：如何优雅的基于Consul自动同步ECS主机监控

【ConsulManager介绍】

Consul字段设计说明

• 服务首次启动时会创建一个随机秘钥，存放到consul_kv的/ConsulManager/assets/secret/skey，该秘钥用于对登录Token，各云厂商账号AKSK的加解密使用。

• 云厂商的每个账号下的ECS实例信息：会存储到Consul的对应Services下的实例中，ECS的实例ID会作为ServiceID。

• 云厂商的每个账号下的AKSK和分组信息：存放到consul_kv的/ConsulManager/assets下各个云厂商的目录下的aksk(加密存储)和group目录。

• 分组字段：是采集云厂商用于资源分组的字段，阿里云：资源组，华为云：企业项目，腾讯云：所属项目。请在创建云主机时设置好属组。

• 新增的各个云厂商的ECS同步任务：会存放到consul_kv的/ConsulManager/jobs下，服务启动的时候会加载这些任务。

• 每次同步任务的执行结果:会存储到consul_kv的/ConsulManager/record/jobs的各个云厂商目录下。

• 新增云厂商的数据源之后会自动同步一次分组信息，ECS信息则会在设置的时间间隔之后才会同步，可以手动点击同步按钮同步一次。

• Linux默认监控node_exporter的9100端口，Windows默认监控windows_exporter的9128端口。

配置说明

1. 新增同步源

• 在Web页面点击ECS 云主机监控/接入数据源，点击新增同步源，输入各字段：

• 账户可随意填写，用来区分云厂商不同云账户的标识，支持中文，例如用主账户的名称。

• 填写的AKSK需要有获取ECS的权限以及各云厂商分组信息的权限。（注意：腾讯云的分组信息因为在ECS中没有找到对应接口，是从分布式数据库TDSQL-查询项目列表 (DCDB)的接口中获取的，AKSK需要有对应权限。）

• 选择好对应的ECS所在区域（暂支持国内），以及分组与ECS的刷新间隔，确认即可，分组信息会自动同步一次，ECS信息则会在设置的时间间隔之后才会同步，可以手动点击同步按钮同步一次。

2. 查看云主机列表

• 可以点击查看按钮或者在云主机列表中查看同步后的ECS信息。（华为云暂未获取到ECS到期日信息）

3. 配置Prometheus

• 点击ECS 云主机监控/Prometheus 配置，根据需要来生产各账号、系统（均支持多选）的Prometheus配置信息，复制配置后，追加到prometheus.yml的末尾，重启Prometheus即可。

4. 查看Prometheus

• 在Prometheus的Web页面中，点击Status-Targets，能看到新增的Job即表示数据同步到Prometheus。

5. 导入Node Exporter Dashboard

• 更新了主机监控的grafana看板，可匹配自动同步方式采集ECS信息字段的展示。

• 优化了大量图表，使用新版表格重建，新增健康评分概念，并新增了整体资源消耗信息的一些图表。

• 导入ID：8919

• 详细URL：https://grafana.com/grafana/dashboards/8919

注意：

主动关机的ECS，会在同步时候从Consul中清除，即会在Prometheus中去除(减少无效的告警)，重新开机后会增加回去。

各ECS的Node_exporter需要自行安装。

【最近7天P99资源使用率】图表需要在Prometheus增加记录规则(采集1小时后出数据)：

- name: node_usage_record_rules
  interval: 1m
  rules:
  - record: cpu:usage:rate1m
   expr: (1 - avg(rate(node_cpu_seconds_total{mode="idle"}[1m])) by (instance,vendor,account,group,name)) * 100
  - record: mem:usage:rate1m
   expr: (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100