tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表
文档对象存储数据湖存储元数据加速快速入门创建元数据加速桶并开启 HDFS 协议

创建元数据加速桶并开启 HDFS 协议

PDF
聚焦模式
字号
最后更新时间: 2025-12-22 16:07:57
说明:
元数据加速功能只能在创建存储桶时开启,开启后不支持关闭,请结合您的业务情况慎重考虑是否开启。
当前元数据加速功能为公测功能,请 联系我们 申请公测资格。

使用 HDFS 协议访问的优势

元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能,支持用户通过文件系统语义访问对象存储服务,系统设计指标可以达到百 GB 级别带宽、十万级 QPS 以及毫秒级延迟。
开启元数据加速的存储桶,完全兼容 HCFS(Hadoop Compatible File System,HCFS) 协议,可以采用原生的 HDFS 接口直接访问。
对比使用 Hadoop 工具 访问普通 COS 桶,使用 HDFS 协议访问时无需在工具内部将 HCFS 接口适配为 COS 的 Restful 接口,省去了协议转换开销,更能提供原生 HDFS 的一些功能,例如目录原子高效 Rename、文件 Atime、Mtime 更新、高效目录 DU 统计、Posix ACL 权限支持等原生特性。
注意:
由于元数据加速桶底层架构,推荐您使用 HDFS 协议访问元数据桶,而非对象存储 Restful 接口,以实现最优性能实践。

步骤一:创建元数据加速桶

参考 创建存储桶 登录 对象存储控制台 创建存储桶并开启元数据加速。若您未授权 HDFS 服务角色,需要先单击立即授权进入 授权角色同意授权后才可创建成功。
说明:
若您需频繁使用对象存储语义进行读写,不推荐开启元数据加速功能。
元数据桶部分管理功能受限,具体限制请参见 使用限制说明




步骤二:开启 HDFS 协议访问

1. 找到已创建的元数据加速桶,单击存储桶名称,进入存储桶详情页。
2. 在左侧菜单栏中,选择湖存储配置 > 元数据加速能力,可以看到元数据加速能力已开启,并且看到默认的存储桶挂载点信息。如下图所示:




3. HDFS 元数据权限配置栏中,单击新增权限配置,配置以下参数,完成后单击保存即可。
VPC 网络名称/ID 选择计算集群所在的 VPC 网络地址。
节点 IP 地址填写 VPC 网段下需要放通的 IP 地址或者 IP 地址段。
访问类型选择可读可写或只读。
说明:
使用 HDFS 协议访问时,元数据加速桶会先校验计算节点 IP 是否满足该配置,使用前请您确保该配置项已配置正确。



4. 根据您的需求,可在 HDFS 元数据鉴权配置中选择不鉴权POSIX 鉴权Ranger 鉴权三种文件系统鉴权方式。单击编辑进入修改页面。



说明:
若您需要使用 POSIX 鉴权,您可在 HDFS 用户配置中配置超级用户列表,如下图所示。



若您需要了解更多 Ranger 鉴权的说明,请参见 COS Ranger 权限体系解决方案

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈