使用数据湖计算 DLC,需要通过腾讯云主账号或 DLC 管理员提前配置好使用地域下的初始化配置及权限配置后,才能正式使用。
为避免出现不必要的报错,我们建议 DLC 普通用户可在管理员配置完成后,再进行使用。
主账号开通 DLC 数据湖服务(操作账号必须为腾讯云主账号)
3. 授权开通 DLC 数据湖服务。
4. 在角色管理中,单击同意授权。
主账号创建腾讯云子账号及添加 DLC 服务策略(操作账号必须为腾讯云主账号)
如果您有多账号协同使用产品的诉求,可按照以下操作建议进行开通:
创建腾讯云子账号
添加 DLC 服务策略 QcloudDLCFullAccess
2. 单击授权。
3. 在弹窗中输入 DLC,选择 QcloudDLCFullAccess。
添加子账号为 DLC 用户
注意:
操作权限:首次添加必须为腾讯云主账号,后续可由主账号添加的 DLC 管理员进行操作。
2. 选择要添加的用户 ID 并指定用户类型。
DLC 账号类型与权限范围:
|
数据权限 | 所有权限 | 默认无,由 DLC 管理员授权 |
数据引擎权限 | 所有权限 | 默认无,由 DLC 管理员授权 |
用户管理 | 可进行 | 不可操作 |
工作组管理 | 可进行 | 不可操作 |
授权范围 | 所有权限 | 权限中可授权的权限 |
添加失败的原因
在创建过程中,如果出现报错,您可先通过判断是否命中以下问题,如果非以下问题,请 联系我们 解决: 1. 重复添加:该账号已经被添加为 DLC 用户。
2. 账号输入错误:该账号是否输入正确。
添加 DLC 管理员
注意:
操作权限:首次添加必须为腾讯云主账号,后续可由主账号添加的 DLC 管理员进行操作。
添加方式与上一章节(添加账号为 DLC 用户)一致,在选择用户类型时,选择为 DLC 管理员即可。
DLC 管理员类型与管理范围:
|
主账号(owner) | 访问管理 CAM/数据湖计算 DLC | 允许 | 允许 | 允许 | 允许 |
DLC 管理员 | 数据湖计算 DLC | 不允许 | 不允许 | 允许 | 允许 |
配置结果存储位置
注意:
操作权限:由主账号或 DLC 管理员进行配置。
功能说明:
1. DLC 内部存储:将 SELECT 查询结果存储在 DLC 产品内的存储空间,存储底层为对象存储。结果存储有效期为36小时。
2. 用户存储:将 SELECT 查询结果存储于您在 COS 上的存储桶路径,这里需注意请确认是否已开通 COS 相关权限。
3. 元数据加速桶:在当前地域,可更好的提升查询分析性能。
4. 内表可直接开启,外表需要确认引擎权限是否允许开启。
请注意:共享引擎无法绑定元数据加速桶。当用户选择用户存储路径时,独享引擎需要先绑定元数据加速桶后,再做查询才能生效。
购买引擎
注意:
操作权限:由主账号或有财务权限的账号进行购买。
您可以根据业务场景诉求,购买不同类型的引擎去配合您的使用。引擎分为标准引擎与 SuperSQL 引擎。两者的区别为:支持的 SQL 语法不同,其中标准引擎支持原生语法和行为,SuperSQL 引擎支持 DLC 自研的 SuperSQL 语法。
2. 单击创建资源。
说明:
1. 引擎分为标准引擎与 SuperSQL 引擎。两者的区别为:支持的 SQL 语法不同,其中标准引擎支持原生语法和行为,SuperSQL 引擎支持 DLC 自研的 SuperSQL 语法。
2. 购买引擎规格建议:由于 16CUs 的集群规模较小,建议仅用于测试场景,真实生产场景建议选择购买 64CUs 以上规格的集群。
标准引擎权限管理
注意:
操作权限:由主账号或 DLC 管理员进行配置。
DLC 标准引擎权限由腾讯云访问管理 CAM 控制,为保证子账号能够顺利使用 DLC 标准引擎,主账号需要对子账户进行授权。标准引擎创建后,所有拥有QcloudDLCFullAccess(数据湖计算 Data Lake Compute(DLC) 全读写访问)策略的子用户均有标准引擎的使用、管理和监控权限,如果您需要精细化管理标准引擎的权限,如A用户仅有A引擎的权限,可通过创建自定义策略实现。
|
情况一:子账号拥有全部标准引擎权限 | 为子账号关联 QcloudDLCFullAccess 预设策略 |
情况二:子账号拥有部分标准引擎权限 | 创建自定义策略 |
授予子用户所有标准引擎权限
主账号或具备 CAM 操作权限的子账号登录后,在子账号列表中找到对应的子账号,单击操作列授权,搜索QcloudDLCFullAccess并选择,单击确定。 授予子用户部分标准引擎权限
数据湖计算 DLC 支持基于 CAM 标签的资源级鉴权,您可通过标签来进行 DLC 已有标准引擎资源和引擎相关 API 权限进行分类管理,从而实现对资源进行多维度分类管理以及精细化授权,关于腾讯云标签请参考:腾讯云标签。 基于腾讯云标签,您在 DLC 的标准引擎资源中,可快速实现以下效果:
部门 A 的所有用户仅可使用打上部门 A 标签的标准引擎资源,无法使用标记了其他标签的标准引擎;
部门 A 用户在创建 DLC 标准引擎资源时,需要强制打上部门 A 标签,如果不打标签或打非部门 A 标签则会创建失败(可选)
操作步骤
步骤一:创建标签
2. 输入标签键和标签值,单击确定即可创建成功,如创建一个部门名称为 Analyze 的标签,Key 可输入"department"、Value为"Analyze"。
步骤二:为标准引擎打上标签
注意:
一旦为标准引擎打上特定标签,如上述示例的"department:Analyze"则后续只有同样关联了该标签的用户才能使用和管理此标准引擎。
步骤三:创建自定义策略
2. 单击创建自定义策略,在弹出对话框选择按标签创建。
3. 在自定义策略生成向导中,服务搜索选择 DLC,Action 勾选All actions (dlc:*)。
说明:
如需要限制用户不能具有标准引擎的销毁、创建或修改权限,则在上述ALL actions中反选以下对应接口即可。
|
无法销毁引擎 | DeleteDataEngine |
无法创建引擎 | CreateDataEngine |
无法修改引擎 | UpdateDataEngine |
4. 选择已创建的标签,以上述创建标签为例:标签选择此前创建的"department:Analyze"标签,Condition Key默认勾选Resource_tag。
如果您需要实现部门为Analyze的用户创建 DLC 标准引擎资源时,需要强制为新建引擎关联上"department:Analyze"标签的效果,则可选择勾选request_tag。关于request_tag的进一步介绍和用法可参考文档 创建资源时强制绑定固定标签键值 。 5. 单击下一步,CAM 会创建多个分割子策略,您可对分割的子自定义策略填写一个方便搜索的名称,如"DLC-department-analyze-tag-policy"。在关联用户或关联用户组中选择需要关联到本自定义策略的用户/用户组,如本示例中关联所有 Analyze 部门的员工子账号。
6. 单击完成,即可完成自定义策略创建。成功创建上述自定义策略后,所有被关联到此自定义策略的 DLC 用户仅能访问打上"department:Analyze"标签的标准引擎。
注意:
1. 为后续用户维护方便,建议使用用户组进行关联。
2. 如关联到自定义策略的用户,已经关联过 QcloudDLCFullAccess 预设策略,则用户仍然会拥有所有标准引擎权限。
SuperSQL 引擎权限管理
注意:
操作权限:由主账号或 DLC 管理员进行配置。
引擎操作类权限自动授权(仅支持 SuperSQL 引擎)
数据湖计算 DLC 支持默认开启 SuperSQL 引擎操作类权限,开启后,所有用户默认拥有该引擎的下列权限:
使用:使用该引擎进行任务执行。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
注意:
1. 关闭后,管理员默认继续拥有引擎各权限,普通用户需管理员在权限管理页添加权限。
2. 原有普通用户拥有权限不受影响,可前往权限管理页删除。 3. 后续新建普通用户无使用权限,需在权限管理页手动添加。 如何开启、关闭自动授权引擎权限
引擎默认开启/关闭操作类权限入口有两个:
入口一:引擎购买页 > 高级配置项。
入口二:进入 引擎管理 页面,单击编辑授权引擎权限。 设置引擎权限后,单击确定。
开通子账号在 DLC 中 SuperSQL 引擎权限
创建用户或工作组后单击列表中的授权操作,为工作组添加权限。
针对 SuperSQL 引擎,您可根据用户或工作组的使用场景,在 DLC 控制台 > 权限管理 > 引擎权限中勾选引擎的权限策略。
说明:
使用:使用该引擎进行任务执行。
修改:修改引擎的配置参数,如引擎的规格变配。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
删除:删除引擎。
可授权:勾选后,该子用户或工作组下的所有成员拥有对引擎的授权权限。
数据权限管理
主账号或 DLC 管理员可根据用户或工作组的使用场景,在权限管理页面,通过权限配置,勾选数据的权限策略。 数据湖计算 DLC 数据权限,包括:
数据目录权限
对 DataLakeCatalog 目录下的数据库创建权限,以及其他数据目录的创建权限。
权限范围:
1. 是否允许用户或工作组在 DataLakeCatalog 下创建数据库。
2. 是否允许用户或工作组可创建其他数据目录。
数据库表权限
对数据库、数据表、视图、函数等权限设置。
权限范围:
|
查询分析权限 | 对数据库中所有表、视图、函数的查询权限。 创建数据表的权限。 | 查询 | 查询 |
数据编辑权限 | 库的修改、删除、建表权限。 所有表、视图、函数的所有权限。 | 数据的查询、插入、更新、删除。 表的修改、删除。 | 查询、创建、修改、删除 |
所有者权限(在数据编辑权限的基础上,可对权限进行再次授权。) | 库的修改、删除、建表。 所有表、视图、函数的所有权限。 | 数据的查询、插入、更新、删除。 表的修改、删除。 | 查询、创建、修改、删除 |
库表高级权限设置
选择单个数据库,可继续设置库下表、视图、函数的查询、插入、更新、删除,选择多个数据库时,将只设置数据库的权限。
高级模式下支持在列级别进行权限设置。选择单个数据表,可添加列的查询权限。支持选择一个/多个列或选择全部列进行授权。
行级权限
在数据库表权限基础上,增加行级过滤表达式,限制访问范围。
DLC 用户管理
修改用户权限
管理员在 用户列表 中选择用户,单击编辑后进行管理。 查看用户权限
单击 用户列表 中的用户 ID,进入查看用户详情页。 移除用户权限
移除指定权限:在权限管理的 用户列表 中,单击编辑,进入详情页修改。 工作组管理
为更好的统一管理,减少管理员的管理成本,通过创建工作组批量添加用户,统一授权的方式进行管理。
创建工作组
通过权限管理页面,切换至工作组页面,单击创建工作组。 添加用户至工作组
添加方式一:通过添加用户时,勾选绑定至已有工作组完成操作。
添加方式二:通过工作组页面,单击编辑添加。
添加方式三:创建工作组时,添加用户。
添加权限至工作组
通过工作组页面,单击编辑添加。
编辑工作组成员或权限
通过工作组页面,单击编辑进行管理。
删除工作组
通过工作组页面,单击删除。
配置数据访问策略
数据访问策略(CAM role arn)是为了保障数据作业运行过程中访问的数据源及对象存储 COS 上的数据安全,用户在访问管理(CAM)上对数据访问权限进行配置的策略。
如您或团队在数据湖计算 DLC 中有数据作业的业务场景,需指定对应的数据访问策略,以保证数据安全。配置步骤可参考 配置数据访问策略。 常见问题
为什么添加用户时会显示添加失败?
在创建过程中,如果出现报错,您可先通过判断是否命中以下问题,如果非以下问题,请联系我们 解决: 1. 重复添加:该账号是否已经成功添加为 DLC 用户。
2. 账号输入错误:该账号是否输入正确。
为什么我进入 DLC 显示功能不可用或没有权限?
您的账号可能暂时未添加为 DLC 用户,或管理员还未对您的账号进行权限配置,您可联系您的管理员进行添加配置。
在使用 DLC 的过程中,有哪些事情是必须主账号才能操作?
主账号需要负责开通 DLC 服务、创建腾讯云子账号、授权子账号策略:QcloudDLCFullAccess、指定 DLC 首位管理员、授权财务权限。
用户的权限与工作组的权限不一致,权限是如何判定的?
取用户与工作组权限的并集。