tencent cloud

Prometheus 监控服务

产品简介
产品概述
产品优势
应用场景
基本概念
相关限制
功能特性
开服地域
购买指南
计费概述
按量付费(后付费)
免费试用介绍
托管采集器付费介绍
归档存储付费介绍
购买方式
欠费说明
快速入门
接入指南
抓取配置说明
自定义监控
EMR 接入
Java 应用接入
Golang 应用接入
Exporters 接入
Nacos 接入
通用组件监控
健康巡检
TKE 集群内安装组件说明
云监控
非腾讯云主机监控
通过 Remote Read 读取云托管 Prometheus 实例数据
Agent 自助接入
Pushgateway 接入
安全组开放说明
操作指南
实例
容器监控
集成中心
数据多写
预聚合
实例诊断
归档存储
告警策略
标签管理
访问控制
Grafana
API 使用指南
容器服务指标
相关资源使用及计费说明
实践教程
自建 Prometheus 迁入
云服务器场景下自定义接入
容器场景监控
TKE Serverless 集群如何放通外网
Prometheus 监控服务如何接入本地 Grafana
Prometheus 实例访问公网
配置 Prometheus 公网地址
Terraform
Terraform 概述
使用 Terraform 管理 Prometheus 实例
使用 Terraform 管理 Prometheus 实例的集成中心
使用 Terraform 采集容器监控数据
使用 Terraform 配置告警策略
常见问题
基础问题
集成容器服务相关
产品咨询
使用&技术问题
云监控问题
服务等级协议
TMP 政策
TMP 隐私协议
TMP 数据处理和安全协议

Kafka Exporter 接入

PDF
聚焦模式
字号
最后更新时间: 2025-11-07 14:49:58

操作场景

在使用 Kafka 过程中需要对 Kafka 运行状态进行监控,例如集群状态、消息消费情况是否有积压等, Prometheus 监控服务提供基于 Exporter 的方式来监控 Kafka 运行状态,并提供了开箱即用的 Grafana 监控大盘。本文介绍如何部署 Exporter 以及实现 Kafka Exporter 告警接入等操作。
说明:
如果需要监控的 Kafka 是腾讯云 消息队列 CKafka 版,推荐使用集成中心 云监控集成,支持一键采集云产品指标。

接入方式

方式一:一键安装(推荐)

前提条件

Prometheus 实例所在私有网络 VPC 与 Kafka 网络相通。
需在 Kafka 放通 Prometheus IPv4 地址的读权限,详细步骤可参见 配置 ACL 策略



操作步骤

2. 在实例列表中,选择对应的 Prometheus 实例。
3. 进入实例详情页,选择数据采集 > 集成中心
4. 在集成中心找到并单击 Kafka,即会弹出一个安装窗口,在安装页面填写指标采集名称和地址等信息,并单击保存即可。


配置说明

参数
说明
名称
集成名称,命名规范如下:
名称具有唯一性。
名称需要符合下面的正则:'^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$'。
地址
填写 Kafka Broker 的连接地址。
Kafka 版本
选填,部分特定版本必填,例如 0.10.2.0。
标签
给指标添加自定义 Label。
抓取间隔
数据抓取间隔,填写示例:60s、1m30s、5m、1h30m。
抓取超时
抓取超时必须小于等于抓取间隔。填写方式同抓取间隔。
topic 过滤正则
选填,不填默认采集全部的 topic。填写后只会采集符合正则的 topic。
group 过滤正则
选填,不填默认采集全部的 group。填写后只会采集符合正则的 group。

方式二:自定义安装

说明:
为了方便安装管理 Exporter,推荐使用腾讯云 容器服务 进行统一管理。

前提条件

在 Prometheus 实例对应地域及私有网络 VPC 下,创建 腾讯云容器服务,并为集群创建 命名空间
Prometheus 监控服务控制台,选择对应的 Prometheus 实例 > 数据采集 > 集成容器服务中找到对应容器集群完成关联集群操作。详情可参见 关联集群
需在 Kafka 放通 Prometheus IPv4 地址的读权限,同上文 一键安装 的前提条件。

操作步骤

步骤一:Exporter 部署
2. 在左侧菜单栏中单击集群。
3. 单击需要获取集群访问凭证的集群 ID/名称,进入该集群的管理页面。
4. 在左侧菜单中选择工作负载 > Deployment,进入 Deployment 页面。
5. 在 Deployment 管理页面,单击新建,选择对应的命名空间来进行部署服务。可以通过控制台的方式创建,如下以 YAML 的方式部署 Exporter,YAML 配置示例如下:
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
k8s-app: kafka-exporter # 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息, 如 ckafka-2vrgx9fd-kafka-exporter
name: kafak-exporter # 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息, 如 ckafka-2vrgx9fd-kafka-exporter
namespace: kafka-demo # 集群的 namespace,exporter 会部署在该 namespace 下
spec:
replicas: 1
selector:
matchLabels:
k8s-app: kafka-exporter # 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息, 如 ckafka-2vrgx9fd-kafka-exporter
template:
metadata:
labels:
k8s-app: kafka-exporter # 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息, 如 ckafka-2vrgx9fd-kafka-exporter
spec:
containers:
- args:
- --kafka.server=x.x.x.x:9092 # 对应 Kafka 实例的地址信息
image: ccr.ccs.tencentyun.com/rig-agent/kafka-exporter:v1.3.0
imagePullPolicy: IfNotPresent
name: kafka-exporter
ports:
- containerPort: 9308
name: metric-port # 这个名称在配置抓取任务的时候需要
securityContext:
privileged: false
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
dnsPolicy: ClusterFirst
imagePullSecrets:
- name: qcloudregistrykey
restartPolicy: Always
schedulerName: default-scheduler
securityContext: {}
terminationGracePeriodSeconds: 30

说明:
Exporter 详细参数请参见 kafka_exporter
步骤二:添加采集任务
1. 登录 Prometheus 监控服务控制台,选择对应 Prometheus 实例进入管理页面。
2. 进入集成容器服务,选择已经关联的集群,通过数据采集配置 > 自定义监控 > 新建自定义监控 > yaml 编辑,来添加采集配置。
监控类型选择 PodMonitors,YAML 配置示例如下:
apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
name: kafka-exporter # 填写一个唯一名称
namespace: cm-prometheus # 按量实例: 集群的 namespace; 包年包月实例(已停止售卖): namespace 固定,不要修改
spec:
podMetricsEndpoints:
- interval: 30s # 采集间隔
port: metric-port # 填写步骤一 yaml 中的 spec.template.spec.containers[0].ports[0].name
path: /metrics # Exporter 的指标采集路径,默认填 /metrics
relabelings:
- action: replace
sourceLabels:
- instance
regex: (.*)
targetLabel: instance
replacement: 'ckafka-xxxxxx' # 调整成对应的 Kafka 实例 ID
- action: replace
sourceLabels:
- instance
regex: (.*)
targetLabel: ip
replacement: '1.x.x.x' # 调整成对应的 Kafka 实例 IP
namespaceSelector:
matchNames:
- kafka-demo # 填写 Exporter 所在的 namespace
selector: # 填写要监控 pod 的 Label 值,以定位目标 pod
matchLabels:
k8s-app: kafka-exporter

说明:
由于 ExporterKafka 部署在不同的服务器上,因此建议通过 Prometheus Relabel 机制将 Kafka 实例的信息放到监控指标中,以便定位问题。

查看监控

前提条件

Prometheus 实例已绑定 Grafana 实例。

操作步骤

1. 登录 Prometheus 监控服务控制台,选择对应 Prometheus 实例进入管理页面。
2. 选择数据采集 > 集成中心,在集成中心页面找到 Kafka 监控,选择 Dashboard 操作 > Dashboard 安装/升级 来安装对应的 Grafana Dashboard。
3. 选择查看已集成,在已集成列表中单击 Grafana 图标即可自动打开 Kafka 监控大盘,查看实例相关的监控数据,如下图所示:




配置告警

1. 登录 Prometheus 监控服务控制台,选择对应 Prometheus 实例进入管理页面。
2. 选择告警管理,可以添加相应的告警策略,详情请参见 新建告警策略


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈