tencent cloud

数据开发治理平台 WeData

产品动态
动态发布记录(2026年)
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
购买指南
计费概述
产品版本购买说明
执行资源购买说明
购买方式
欠费说明
退费说明
准备工作
账号和权限管理概述
添加白名单/安全组(可选)
通过 Microsoft Entra ID(Azure AD)单点登录(SSO)WeData
操作指南
管理控制台
项目管理
数据集成
Studio
数据开发
数据分析
数据科学
数据治理(with Unity Semantics)
API 文档
History
Introduction
API Category
Making API Requests
Smart Ops Related Interfaces
Project Management APIs
Resource Group APIs
Data Development APIs
Data Asset - Data Dictionary APIs
Data Development APIs
Ops Center APIs
Data Operations Related Interfaces
Data Exploration APIs
Asset APIs
Metadata Related Interfaces
Task Operations APIs
Data Security APIs
Instance Operation and Maintenance Related Interfaces
Data Map and Data Dictionary APIs
Data Quality Related Interfaces
DataInLong APIs
Platform Management APIs
Data Source Management APIs
Data Quality APIs
Platform Management APIs
Asset Data APIs
Data Source Management APIs
Data Types
Error Codes
WeData API 2025-08-06
服务等级协议
相关协议
隐私协议
数据处理和安全协议
联系我们
词汇表

存算引擎配置

PDF
聚焦模式
字号
最后更新时间: 2024-11-01 16:39:36
对存算引擎进行配置,包括 EMR 引擎配置、TCHouse-P 引擎配置和 DLC 引擎配置。

EMR 引擎配置

基本信息管理:支持配置 EMR(弹性 MapReduce)引擎的基本信息,包括 yarn 队列设置和刷新。
账号配置:支持配置 EMR 引擎的任务提交账号和账号映射关系,可对接不同的认证方式的 EMR 集群。




账号认证方式

无认证 表示当前 EMR 集群没有开启认证,WeData 统一按照 hadoop 用户提交。
Linux 账号认证 表示当前 EMR 集群开启了 Simple 认证,以 Linux 用户来提交任务,该认证方式存在两种可能:
1.1 WeData 云账号和 Linux 账号一致:此时选择任务提交账号为“责任人”时,则无须单独配置映射。
1.2 WeData 云账号和 Linux 账号不一致:此时选择任务提交账号为“责任人”时,需单独配置映射,否则 Linux 上因为没有云账号的用户而导致提交失败。
账号认证 表示当前 EMR 集群开启了 LDAP 认证,以 LDAP 用户身份来提交任务。与 Linux 账号认证不同的是,在当前认证下需要额外配置 LDAP 用户密码。
Kerberos 账号认证 表示当前 EMR 集群开启了 Kerberos 认证,以 Kerberos 账号身份来提交任务。该认证下需要用户从 EMR 上下载 keytab 文件,并配置映射关系,以便调度系统以合法的身份提交任务。
说明:
当 EMR 集群开启了 Kerberos 认证,hadoop 用户的 keytab 文件在 emr 不支持直接下载,需要手动在 emr 客户端创建,创建命令如下:
kadmin.local add_principal -pw xxx hadoop@EMR-XXXXXXXX
kadmin.local ktadd -k /tmp/hadoop.keytab -norandkey hadoop@EMR-XXXXXXXX
xxx 是 keytab 的密码
下载生成的 hadoop.keytab 配置文件,上传到 wedata,可参考下图。
⚠️ 创建的 principal 为两段式,emr 服务节点中 hadoop 三段式的 principal(hadoop/_HOST@EMR-XXXXXXXX)不可直接下载使用。







账号映射

任务提交账号为子账号时需要选择统一的提交子账号,并且配置对应的账号映射关系,用户可以在此新建、编辑或删除账号映射。



TCHouse-P 引擎配置

支持 云数据仓库 TCHouse-P 接入配置。




DLC 引擎配置

支持 数据湖计算 DLC 接入配置。





帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈