托管存储是指用户在数据湖产品上托管的存储空间,存储底层为对象存储。托管存储上存放着原生表、用户程序包、查询结果等数据,因此如果需要使用原生表及其数据优化等能力,需要先开启托管存储。托管存储上的原生表默认为 Iceberg 格式表,您无须管理底层的文件内容。托管存储计费详情请参见 计费概述。 说明:
托管存储除用户数据使用量计费外,DLC 还会每天对存储进行例行检查,如用户存储活跃度检查、用量检查,将会产生少量的请求次数计费,若用户不使用托管存储,请及时销毁,避免这些例行检查产生费用。
本篇文档介绍托管存储的开启和配置步骤。
开启托管存储
步骤一:进入托管存储配置
步骤二:创建托管存储桶
1. 单击创建托管存储桶进入创建页面,选择托管存储类型,点击确定完成创建。
此处您可以指定托管存储类型为元数据加速桶或者普通桶,元数据加速桶和普通桶在计费上一致,但是需要单独配置引擎访问元数据加速桶的权限,详情请参见 元数据加速桶的绑定。 2. 上方可修改查询结果存储路径。查询结果路径用以临时存储 SQL 查询的结果数据、Spark 作业 Shuffle 数据等等,您需要指定一个路径以保证作业和任务的正常运行。如果您以及创建了托管存储桶,建议查询结果路径配置为托管存储。您也可以把查询结果路径配置到自己账号下的 COS 存储桶 路径。 查看托管存储桶
开启托管存储后会创建一个存储桶,可以在 存储管理 模块查看托管存储上的桶以及数据。 销毁托管存储
销毁数据是高危行为,只有当库表数据都删除后,您才可以销毁托管存储。销毁托管存储需要管理员权限。
步骤一:删除库表数据
销毁托管存储需要先删除托管存储上的所有库表数据。
步骤二:销毁托管存储
删除库表数据后,您可以在存储管理模块下的托管存储配置页签中,销毁托管存储。 销毁托管存储会把所有的 DLC 托管存储桶都删除,请谨慎操作。