tencent cloud

数据湖计算

产品动态
产品简介
产品概述
产品优势
应用场景
购买指南
计费概述
退费说明
欠费说明
调整配置费用说明
快速入门
新用户开通全流程
DLC 数据导入指引
一分钟入门 DLC 数据分析
一分钟入门 DLC 权限管理
一分钟入门分区表
开启数据优化
跨源分析 EMR Hive 数据
标准引擎配置指引
配置数据访问策略
操作指南
控制台操作介绍
开发指南
运行环境
SparkJar 作业开发指南
PySpark 作业开发指南
查询性能优化指南
UDF 函数开发指南
系统约束
客户端访问
JDBC 访问
TDLC 命令行工具访问
第三方软件联动
Python 访问
实践教程
通过 Power BI 访问 DLC 数据操作指南
建表实践
使用 Apache Airflow 调度 DLC 引擎提交任务
StarRocks 直接查询 DLC 内部存储
Spark 计算成本优化实践
DATA + AI
使用 DLC 分析 CLS 日志
使用角色 SSO 访问 DLC
资源级鉴权指南
在 DLC 中实现 TCHouse-D 读写操作
DLC 原生表
SQL 语法
SuperSQL 语法
标准 Spark 语法概览
标准 Presto 语法概览
保留字
API 文档
History
Introduction
API Category
Making API Requests
Data Table APIs
Task APIs
Metadata APIs
Service Configuration APIs
Permission Management APIs
Database APIs
Data Source Connection APIs
Data Optimization APIs
Data Engine APIs
Resource Group for the Standard Engine APIs
Data Types
Error Codes
通用类参考
错误码
配额与限制
第三方软件连接DLC操作指南
常见问题
权限类常见问题
引擎类常见问题
功能类常见问题
Spark 作业类常见问题
DLC 政策
隐私协议
数据处理和安全协议
服务等级协议
联系我们

数据作业概述

PDF
聚焦模式
字号
最后更新时间: 2025-12-24 11:50:49
数据湖计算 DLC 提供了基于原生 Spark 的批处理、流计算能力,支持用户通过数据任务进行复杂的数据处理、ETL 等操作。 目前数据作业的 Spark 相关版本支持如下:
Scala 2.12.* 版本。
Spark 3.2.1 版本。
更多 Spark 版本环境信息可参见 Spark 环境说明

使用准备

在开始使用数据作业前,为了保证您的数据安全,您需要先创建数据访问策略,数据访问策略指定了您的数据作业可以访问的 COS 路径和文件。详细配置说明请参见 配置数据访问策略。 如数据作业需要访问其他数据源,需对数据引擎进行网络配置后,选择对应数据引擎即可实现数据访问、处理。网络配置方式及详细说明参见 引擎网络配置

计费模式

数据作业将根据使用数据引擎进行计费,目前支持按量计费和包年包月两种模式。详情可参见 数据引擎说明
按量计费:适合数据作业量较少或周期性使用的场景,创建作业后拉起使用,作业运行完成后自动挂起不再产生费用。
包年包月:适合数据作业量较大同时很稳定使用的场景,按月付费预留资源,无需等待数据引擎拉起。
注意
由于数据作业与 SQL 作业的计算引擎类型差异,需要单独购买 Spark 作业类型的数据引擎,无法使用 SparkSQL 类型的数据引擎运行数据作业。

作业管理

通过数据作业管理菜单,您可以对数据作业进行创建、启动、修改、删除。
1. 登录 数据湖计算控制台 > 数据作业,进入数据作业管理页。
2. 单击创建数据作业按钮,即可创建新的数据作业,详细步骤请参见 创建数据作业
3. 在列表内可以查看数据作业当前任务的状态,同时支持管理数据作业,详细步骤请参见 管理数据作业

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈