tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们

HDFS 文件存储分析

PDF
聚焦模式
字号
最后更新时间: 2023-12-27 14:44:55

功能介绍

查看 T-1 天采集时间基于 HDFS 存储的总文件、总存储量、分布信息及近期趋势情况以及大文件、小文件的 top 目录列表。
可查看集群内基于 HDFS 存储的总文件数据量、总存储量日变化情况及近期的历史变化趋势图。
文件数量分布图和文件存储量分布图可以帮助了解空小文件的占比及占用存储空间的情况。
提供采集时间点的大/小文件 Top1000文件文件目录信息,方便查询、下载。

操作步骤

1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击集群服务,然后选择 HDFS 组件右上角操作 >文件存储分析,提供基于存储在 HDFS 上截止上一次采集时间点的相关文件及目录信息。
3. 统计视图
3.1 可以查看 HDFS 存储的总文件数量、总存储量的日增量及日环比量。
3.2 参照空文件(=0),小文件(<=2M)、其他(2M<文件存储量< 128M)及大文件(>=128M)定义提供文件数量分布和文件存储量分布视图。
4. 通过视图直观查看各类文件数量和存储量的近期历史变化趋势。
5. 查询 DayT-1 采集时间点 Top1000小文件/大文件的相关维度信息,提供文件名称、路径、用户组、所属用户、大小、最近一次访问时间等信息查询及下载.。
风险说明
文件存储分析依赖的分析数据将于每天14:00开始采集。
1. 文件存储分析涉及对备份 fsimage 文件采集分析,该分析影响本机内存使用增加(最大增幅4G),若集群内存使用机器总占比连续高位时,可 工单反馈 关闭该功能。
2. HA 集群该分析功能执行在 Standby Master 节点,非 HA 集群该分析功能执行在 Master 节点。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈