tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表

TDMQ 消息备份

PDF
聚焦模式
字号
最后更新时间: 2024-01-06 10:37:55

简介

TDMQ 消息备份是腾讯云对象存储(Cloud Object Storage,COS)基于 云函数(Serverless Cloud Function,SCF) 为用户提供的 TDMQ 消息转存至 COS 的功能,可以协助用户将 TDMQ 消息进行转存以便于对数据进行分析与下载等操作。
TDMQ 是基于 Apache 开源项目 Pulsar 自研的金融级分布式消息中间件,具备跨城高一致、高可靠、高并发的特性,详情请参见 TDMQ 产品概述
用户在指定存储桶配置了备份函数规则后,当 TDMQ 产生消息时,云函数会按照一定的时间粒度获取消息并转存至 COS 存储桶中。

注意事项

若您此前在对象存储控制台上为存储桶添加了 TDMQ 消息备份规则,可以在 云函数控制台 上看到您所创建的 TDMQ 消息备份函数,请不要删除该函数,否则可能导致您的规则不生效。
当前 TDMQ 消息备份至 COS 支持以下地域:广州、上海、中国香港、北京、成都、新加坡、硅谷。

操作步骤

2. 在左侧导航中,单击应用集成 > 数据备份,找到 TDMQ 消息备份
3. 单击配置备份规则,进入规则配置页面。
4. 单击添加函数
注意
如果您尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。
5. 在弹出的窗口中,配置如下信息:
函数名称:作为函数的唯一标识名称,创建后不可修改。您可以在 云函数控制台 上查看该函数。
关联存储桶:存放 TDMQ 消息的 COS 存储桶。
时间粒度:根据消息量的大小,选取汇聚消息的时间间隔,时间间隔为5 - 15分钟不等。单个消息文件最大限制为5000条,消息文件最大限制为500MB。
SCF 授权:TDMQ 消息备份需要授权云函数从您的 TDMQ 服务中读取相关消息,并将消息转存至您指定的存储桶中。因此需要添加此授权。
6. 单击下一步,进行 TDMQ 配置,配置项说明如下:
集群选择:选择消息来源的 TDMQ 集群,仅支持同地域的 TDMQ 集群。
命名空间:选择集群中的命名空间
主题选择:选择消息来源的主题。
订阅选择:选择对应的主题订阅,如现有的订阅不满足需求,可前往 TDMQ 控制台 新建订阅。
起始位置:历史消息的起始位置。
角色选择:选择 TDMQ 角色。TDMQ 的“角色”是 TDMQ 内专有的概念,区别于腾讯云的“角色”,是用户自行在 TDMQ 内部做权限划分的最小单位,用户可以添加多个角色并为其赋予不同命名空间下的生产和消费权限。
角色密钥:选择 TDMQ 的角色密钥。TDMQ 的“密钥”是一种鉴权工具,用户可以通过在客户端中添加密钥来访问 TDMQ 进行消息的生产消费。密钥和角色一一对应,每种角色都有其对应的唯一密钥。
访问地址:必须为 VPC 内网访问地址,TDMQ 集群需接入 VPC,具体请参考 VPC 接入
注意
对应的 VPC 子网中必须有可用的 IP,且必须支持 DHCP。
7. 单击下一步,进行投递配置,配置项说明如下: 投递的路径:备份文件的投递路径前缀,不填写则默认保存在存储桶根路径,指定前缀必须以斜杠/为结尾。
8. 添加配置后,单击确认,即可看到函数已添加完成。 您可以对新创建的函数进行如下操作:
单击日志,查看 TDMQ 消息备份的历史运行情况。当备份出现报错时,您还可以通过单击日志,快速跳转到云函数控制台查看日志错误详情。
单击更多 > 编辑,修改 TDMQ 消息备份规则。
单击更多 > 删除,删除不使用的 TDMQ 消息备份规则。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈