tencent cloud

流计算 Oceanus

动态与公告
产品动态
产品简介
产品概述
产品优势
应用场景
购买指南
计费概述
计费模式
退费说明
调整配置费用说明
快速入门
从零开始上手
创建独享集群
创建 SQL 作业
创建 JAR 作业
创建 ETL 作业
创建 Python 作业
操作指南
作业管理
作业开发
作业监控
作业日志
事件与诊断
元数据管理
快照管理
作业调优
依赖管理
集群管理
权限管理
SQL 开发指南
开发指南概述
术语和数据类型
DDL 数据定义语句
DML 数据操作语句
MySQL CDC 多 Source 复用
上下游开发指南
SET 控制语句
运算符和内置函数
标识符与保留字
Python 开发指南
ETL 开发指南
概述
ETL 作业术语表
上下游开发指南
常见问题
联系我们

作业资源配置

PDF
聚焦模式
字号
最后更新时间: 2023-11-08 10:06:05

简介

用户可在作业参数 > 资源配置中配置 JobManager 规格、TaskManager 规格、算子默认并行度。通过资源配置可以配置符合作业需求的计算资源。
流计算服务目前支持三种规格的计算单元:0.5CU、1CU、2CU,JobManager 和 TaskManager 可以分别设置不同的规格。其中0.5CU为细粒度资源,默认只有部分新建集群支持细粒度资源,历史集群将不会出现配置 JobManager 和 TaskManager 的选项,如果您的历史集群有相关需求,可用通过 在线客服 联系我们。

作业实际占用的 CU 数目

作业实际占用的 CU 数目 = JobManager 规格 + TaskManager 规格 × 作业中所有算子最大的并行度。
用户可以通过资源配置下方提示的作业最大可用资源数目,调整规格和算子默认并行度。如图所示该作业最大可用资源为8CU,因此调节 TaskManager 规格为2CU时,算子默认并行度最大值为3。

低资源消耗场景的资源配置

部分作业的场景大多数时间无数据同步,如果使用粒度为1CU的资源会存在浪费。可以按如图所示,调整 JobManager 规格和 TaskManager 规格为0.5,算子默认并行度为1,此时该作业消耗资源1CU,减少了资源浪费。

常见问题

1. 什么是细粒度资源? 细粒度资源是指计算资源单元规格可小于1CU的资源(1CU的具体含义为:CPU 1核、内存 4GB),流计算服务目前支持三种规格的计算单元:0.5CU、1CU、2CU,JobManager 和 TaskManager 可以分别设置不同的规格。
2. 为什么会出现作业实际运行并行度达不到作业最大并行度的情况? 在资源配置中使用细粒度资源的过程中,极小概率可能产生资源碎片影响作业运行,可能产生作业实际运行并行度达不到作业最大并行度的情况。您可以通过合理的资源规格选择来尽量地避免资源碎片。如果产生以上情况,您可通过 在线客服 联系我们解决。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈