tencent cloud

流计算 Oceanus

动态与公告
产品动态
产品简介
产品概述
产品优势
应用场景
购买指南
计费概述
计费模式
退费说明
调整配置费用说明
快速入门
从零开始上手
创建独享集群
创建 SQL 作业
创建 JAR 作业
创建 ETL 作业
创建 Python 作业
操作指南
作业管理
作业开发
作业监控
作业日志
事件与诊断
元数据管理
快照管理
作业调优
依赖管理
集群管理
权限管理
SQL 开发指南
开发指南概述
术语和数据类型
DDL 数据定义语句
DML 数据操作语句
MySQL CDC 多 Source 复用
上下游开发指南
SET 控制语句
运算符和内置函数
标识符与保留字
Python 开发指南
ETL 开发指南
概述
ETL 作业术语表
上下游开发指南
常见问题
联系我们

创建 ETL 作业

PDF
聚焦模式
字号
最后更新时间: 2023-11-08 10:51:26

前提条件

流计算作业 ETL 作业需运行于流计算独享集群,若还没有集群,请参考 创建独享集群

步骤1:创建 ETL 作业

登录 流计算 Oceanus 控制台,进入某一工作空间后,单击左侧导航作业管理,进入作业管理页面,单击新建作业,作业类型选中 ETL 作业,输入作业名称,并选择一个运行中的集群,新建的 ETL 作业将运行于此集群,单击确定后即成功创建作业。
注意
注意: 当前ETL作业暂时只支持1.13版Flink,尚不支持1.13版本内核的集群需要先提 工单 升级后再使用。

步骤2:流计算服务委托授权

选择作业管理中刚新建的作业,单击开发调试。在未授权时,弹出访问授权对话框如下,单击前往授权,授权流计算作业访问您的消息队列或云数据库等资源。此授权的详细说明参见 流计算服务委托授权。

步骤3:配置数据源表

授权完成后,单击作业进入作业开发 > 草稿,从左侧列表拖入 MySQL 数据源。 单击 MySQL 数据源可以进行数据源的配置。
如果当前没有可用的数据库实例,可以单击管理连接信息,并单击新建连接信息增加新的数据源。
腾讯云实例可以使用当前账号下的腾讯云产品实例,但注意账号需要拥有对应产品的查询列表权限。
IP连接则直接用填入的 IP 进行连接,需要确保 IP 与 Oceanus 集群处于同一个 VPC 或是有进行过相关的网络打通操作。
选择好数据源之后,可以通过下拉框选择需要进行同步的数据库与表。 单击下一步,配置需要进行同步的字段,并单击确认完成配置。 再次返回画布,可以看到数据源已经配置完成。

步骤4:配置数据目的

从左侧拖入数据目的,并与数据源相连。 单击数据目的对象,配置好数据库实例与库表选择: 单击下一步进行字段映射配置: 完成后,单击确认完成数据目的的配置:

步骤5:设置作业参数

作业参数中可以设置作业相关的参数,详情可以查看文档作业高级参数

步骤6:发布运行 ETL 作业

单击运行,会进行作业预检查,并启动作业。

步骤7:查看作业日志

单击日志按钮可以查看作业日志。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈