tencent cloud

文档反馈

对象存储 COS

最后更新时间:2024-01-09 14:54:11

    操作场景

    Datahub 支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
    本文以 COS 数据为例介绍如何在 CKafka 控制台创建数据异步拉取任务,并对任务进行修改配置,帮助您更好地了解数据接入功能。

    操作步骤

    创建数据接入任务

    前提条件

    已创建好目标 CKafka 实例和 Topic。
    已创建好存储桶和对象。

    操作步骤

    1. 登录 CKafka 控制台
    2. 在左侧导航栏单击数据流入,选择好地域后,单击新建任务
    3. 在弹窗中数据源类型选择异步拉取 > COS
    
    
    
    4. 单击下一步,填写任务详情。
    
    
    
    任务名称:只能包含字母、数字、下划线、"-"、"."。
    CKafka 实例:选择 CKafka 实例。
    目标 CKafak topic:选择数据投递的目标 CKafka Topic。
    源存储桶:选择源数据存储桶。
    源对象:选择源数据对象,当前 Topic 支持的最大消息大小为12MB,单行文本数据超过12MB 会写入失败。
    角色授权:使用对象存储(COS)产品功能,您需要授予一个第三方角色代替您执行访问相关产品权限。
    5. 单击提交,完成任务创建。

    更改数据源和数据目标

    1. 登录 CKafka 控制台
    2. 在左侧导航栏单击数据接入,单击目标任务的ID,进入任务基本信息页面。
    3. 单击数据目标模块右上角的更改数据目标,修改数据目标信息。

    查看监控

    1. 登录 CKafka 控制台
    2. 在左侧导航栏单击数据接入,单击目标任务的ID,进入任务基本信息页面。
    3. 选择监控页签,可查看目标 Topic 监控数据。

    暂停任务

    数据接入 页面,单击目标任务的操作栏的暂停,可暂停任务。
    说明:
    当您发现数据接入任务影响了 CKafka 正常服务时,可以暂停数据接入。

    恢复任务

    数据接入 页面,单击目标任务的操作栏的恢复,可将暂停任务恢复。
    说明:
    处于暂停状态的任务可以重新启动,将继续转储数据。

    删除任务

    数据接入 页面,单击目标任务的操作栏的删除,在二次确认弹窗中单击确认,可删除任务。
    说明:
    删除任务表示停止数据接入并删除任务记录,不会影响到已经转储的数据和相关的 CKafka 实例。
    任务一旦删除不可恢复,请您谨慎操作。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持