新功能发布记录
集群版本更新记录
产品公告
接入 Prometheus 监控
接入介绍
腾讯云可观测平台集成方式
基于开源标准 Prometheus Exporter 接入
TDMQ Pulsar 支持将专业集群的监控数据，接入用户到自建的 Prometheus ，更加利于用户对消息队列集群运行进行观测，同时可以通过 Prometheus 的监控数据，对业务 Workload 进行及时地 HPA，使得整体线上运维更加自动化。
高阶使用方式：
标准的 Prometheus 监控格式，实现后可以用自己的 Prometheus 通过我们提供的 Exporter 获取数据。
例如通过 Grafana 配置 Prometheus 数据源，K8s 获取 Prometheus 数据来进行 Workload HPA 等。
注意：
如果您的专业集群是在 2024 年 3 月 25 日前创建，如需开启此功能需要进行集群升级，请联系我们。
使用指南
1. 登录 TDMQ Pulsar 专业集群控制台。
2. 在左侧导航栏选择 集群管理，单击目标实例的“ID”，进入实例基本信息页面。
3. 单击进入监控信息 Sheet 页。
4. 在右上角单击 Prometheus 监控入口获取 按钮的获取监控目标，选择相应的网络类型及网络配置。
5. 单击提交，获取一组监控目标。
6. 修改配置文件 prometheus.yml，增加 node_exporter 抓取任务。
job_name: prometheus-tdmq-pulsarhonor_timestamps: truescrape_interval: 60smetrics_path: /tencent-cloud-metrics/scheme: httpstatic_configs:- targets:- 10.x.x.x:10001- 10.x.x.x:10002
honor_timestamps，设置为 true 时，Prometheus 将使用 Exporter 提供的指标时间戳，而不是使用 Prometheus 服务器接收到指标的时间戳。scrape_interval，为抓取监控度量数据的频率，目前的监控指标是分钟级的。metrics_path，获取监控指标的路径，请设置为 /tencent-cloud-metrics/。scheme，配置访问资源的协议，当前仅支持 http。7. 访问相应可视化界面，查看配置监控指标。
说明：
1. 该功能分别提供了专业集群的集群级、Topic 级、订阅级的监控数据，与控制台的指标项完全对齐。但是不同于控制台的是，控制台的监控数据是聚合后的，而通过 Prometheus 的数据是聚合前的，需要您自行在 Grafana 面板聚合展示。
2. 由于监控数据采集的路径不同和聚合逻辑不同，通过该功能抓取到的数据，与用户控制台所展示数据，在具体数值上可能存在差异。
3. 该功能仅专业集群支持。
指标说明
集群级
指标 | 指标名 |
集群消息生产速率 | pulsar_caculate_rate_in |
集群消息消费速率 | pulsar_caculate_rate_out |
集群消息存储大小 | pulsar_storage_size |
集群生产带宽峰值 | pulsar_throughput_in |
集群消费带宽峰值 | pulsar_throughput_out |
Topic 级
指标 | 指标名 |
消息生产速率 | pulsar_caculate_rate_in |
消息消费速率 | pulsar_caculate_rate_out |
消息生产流量 | pulsar_throughput_in |
消息消费流量 | pulsar_throughput_out |
生产者数量 | pulsar_producers_count |
消费者数量 | pulsar_consumers_count |
消息存储大小 | pulsar_storage_size |
消息堆积数量 | pulsar_msg_backlog |
消息积压大小 | pulsar_storage_backlog_size |
生产者数量限流次数 | pulsar_publish_rate_limit_times |
过滤消息数量 | pulsar_tag_filter_rejected_msg_rate |
订阅级
指标 | 指标名 |
消息堆积条数 | pulsar_subscription_back_log |
消息消费速率 | pulsar_subscription_msg_rate_out |
消息消费流量 | pulsar_subscription_msg_throughput_out |
未确认消息数 | pulsar_subscription_unacked_messages |
消费者数量 | pulsar_subscription_consumers_count |
延迟消息数量 | pulsar_subscription_delayed |
消息删除速率 | pulsar_subscription_msg_rate_expired |
过滤消息数量 | pulsar_subscription_tag_filter_rejected_msg_rate |
文档反馈