tencent cloud

消息队列 CKafka 版

动态与公告
新功能发布记录
Broker 版本升级记录
公告
产品简介
TDMQ 产品系列介绍与选型
什么是消息队列 CKafka 版
产品优势
应用场景
技术架构
产品系列介绍
开源 Kafka 版本支持说明
与开源 Kafka 对比
高可用
使用限制
地域和可用区
相关云服务
产品计费
计费概述
价格说明
计费示例
按小时付费转包年包月
续费说明
查看消费明细
欠费说明
退费说明
快速入门
入门流程指引
准备工作
VPC 网络接入
公网域名接入
用户指南
使用流程指引
配置账号权限
创建实例
配置 Topic
连接实例
管理消息
管理消费组
管理实例
变更实例规格
配置限流
配置弹性伸缩策略
配置高级特性
查看监控和配置告警
使用连接器同步数据
实践教程
集群资源评估
客户端实践教程
日志接入
开源生态对接
替换支撑路由(旧)
迁移指南
迁移方案概述
使用开源工具迁移集群
故障处理
Topic 相关
客户端相关
消息相关
API 参考
History
Introduction
API Category
Making API Requests
Other APIs
ACL APIs
Instance APIs
Routing APIs
DataHub APIs
Topic APIs
Data Types
Error Codes
SDK 参考
SDK 概述
Java SDK
Python SDK
Go SDK
PHP SDK
C++ SDK
Node.js SDK
连接器相关 SDK
安全与合规
权限管理
网络安全
删除保护
事件记录
云 API 审计
常见问题
实例相关
Topic 相关
Consumer Group 相关
客户端相关
网络问题
监控相关
消息相关
服务协议
服务等级协议
联系我们
词汇表

VPC 网络接入

PDF
聚焦模式
字号
最后更新时间: 2026-01-05 15:20:01

操作场景

本文以 Node.js 客户端为介绍使用 VPC 网络接入消息队列 CKafka 版并收发消息的过程。

前提条件

已参考 SDK 概述,获取相关的客户端连接参数

操作步骤

准备工作

1. 将下载的 Demo 中的 nodejskafkademo 上传至 Linux 服务器。
2. 登录 Linux 服务器,进入 nodejskafkademo 目录。

步骤1:安装 C++ 依赖库

1. 执行以下命令切换到 yum 源配置目录 /etc/yum.repos.d/
cd /etc/yum.repos.d/
2. 创建 yum 源配置文件 confluent.repo。
[Confluent.dist]
name=Confluent repository (dist)
baseurl=https://packages.confluent.io/rpm/5.1/7
gpgcheck=1
gpgkey=https://packages.confluent.io/rpm/5.1/archive.key
enabled=1
[Confluent]
name=Confluent repository
baseurl=https://packages.confluent.io/rpm/5.1
gpgcheck=1
gpgkey=https://packages.confluent.io/rpm/5.1/archive.key
enabled=1
3. 执行以下命令安装 C++ 依赖库。
yum install librdkafka-devel

步骤2:安装 Node.js 依赖库

1. 执行以下命令为预处理器指定 OpenSSL 头文件路径。
export CPPFLAGS=-I/usr/local/opt/openssl/include
2. 执行以下命令为连接器指定 OpenSSL 库路径。
export LDFLAGS=-L/usr/local/opt/openssl/lib
3. 执行以下命令安装 Node.js 依赖库。
npm install i --unsafe-perm node-rdkafka

步骤3:准备配置

创建消息队列 CKafka 版配置文件 setting.js。
module.exports = {
'bootstrap_servers': ["xxx.xx.xxx:xxxx"],
'topic_name': 'xxx',
'group_id': 'xxx'
}
参数
描述
bootstrap_servers
接入网络,在控制台的实例基本信息页面接入方式模块的网络列复制。
topic_name
Topic 名称,您可以在控制台上 Topic 列表 页面复制。
group_id
您可以自定义设置,Demo 运行成功后可以在 Consumer Group 页面看到该消费者。

步骤4:发送消息

1. 编写生产消息程序 producer.js。
const Kafka = require('node-rdkafka');
const config = require('./setting');
console.log("features:" + Kafka.features);
console.log(Kafka.librdkafkaVersion);

var producer = new Kafka.Producer({
'api.version.request': 'true',
// 设置入口服务,请通过控制台获取对应的服务地址。
'bootstrap.servers': config['bootstrap_servers'],
'dr_cb': true,
'dr_msg_cb': true,

// 请求发生错误时重试次数,建议将该值设置为大于0,失败重试最大程度保证消息不丢失
'retries': '0',
// 发送请求失败时到下一次重试请求之间的时间
"retry.backoff.ms": 100,
// producer 网络请求的超时时间。
'socket.timeout.ms': 6000,
});

var connected = false

producer.setPollInterval(100);

producer.connect();

producer.on('ready', function() {
connected = true
console.log("connect ok")
});

producer.on("disconnected", function() {
connected = false;
producer.connect();
})

producer.on('event.log', function(event) {
console.log("event.log", event);
});

producer.on("error", function(error) {
console.log("error:" + error);
});

function produce() {
try {
producer.produce(
config['topic_name'],
null,
new Buffer('Hello CKafka Default'),
null,
Date.now()
);
} catch (err) {
console.error('Error occurred when sending message(s)');
console.error(err);
}

}

producer.on('delivery-report', function(err, report) {
console.log("delivery-report: producer ok");
});

producer.on('event.error', function(err) {
console.error('event.error:' + err);
})

setInterval(produce, 1000, "Interval");
2. 执行以下命令发送消息。
node producer.js
3. 查看运行结果。


4. CKafka 控制台 Topic 列表页面,选择对应的 Topic,单击更多 > 消息查询,查看刚刚发送的消息。


步骤5:订阅消息

1. 创建消费消息程序 consumer.js。
const Kafka = require('node-rdkafka');
const config = require('./setting');
console.log(Kafka.features);
console.log(Kafka.librdkafkaVersion);
console.log(config)

var consumer = new Kafka.KafkaConsumer({
'api.version.request': 'true',
// 设置入口服务,请通过控制台获取对应的服务地址。
'bootstrap.servers': config['bootstrap_servers'],
'group.id' : config['group_id'],

// 使用 Kafka 消费分组机制时,消费者超时时间。当 Broker 在该时间内没有收到消费者的心跳时,
// 认为该消费者故障失败,Broker 发起重新 Rebalance 过程。
'session.timeout.ms': 10000,
// 客户端请求超时时间,如果超过这个时间没有收到应答,则请求超时失败
'metadata.request.timeout.ms': 305000,
// 设置客户端内部重试间隔。
'reconnect.backoff.max.ms': 3000

});

consumer.connect();

consumer.on('ready', function() {
console.log("connect ok");
consumer.subscribe([config['topic_name']]);
consumer.consume();
})

consumer.on('data', function(data) {
console.log(data);
});

consumer.on('event.log', function(event) {
console.log("event.log", event);
});

consumer.on('error', function(error) {
console.log("error:" + error);
});

consumer.on('event', function(event) {
console.log("event:" + event);
});
2. 执行以下命令消费消息。
node consumer.js
3. 查看运行结果


4. CKafka 控制台Consumer Group 页面,选择对应的消费组,在主题名称输入 Topic 名称,单击查看详情,查看消费详情。


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈