tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们

EC 策略设置

PDF
聚焦模式
字号
最后更新时间: 2025-02-26 14:31:49
EC(Erasure Coding)策略设置是实例的高级配置,可以通过开启 EC策略降低数据副本数,进而降低资源成本。
说明:
EC策略可按需开启或关闭,默认关闭,开启后新增数据按照 RS-6-3-1024k 策略进行存储。

EC 原理介绍

为了保证数据的可靠性,HDFS 的默认数据存储策略是3副本,即在写入数据的时候,会占用该数据大小3倍的空间。这样就造成了大量的空间浪费。对此,HDFS 引入在 RAID 磁盘阵列中已应用成熟的技术:EC(Erasure Coding,纠删码)。
EC 是一种数据保护技术,通过将原始数据分割成多个片段,并添加一定数量的校验片段,使得在部分数据丢失的情况下仍能恢复原始数据。与传统的 RAID 技术相比,EC 具有更高的存储效率和更低的冗余度。

RS-6-3-1024k 策略

不同的EC编解码算法、数据块大小、数据块和校验块个数,可以构成不同的EC策略。RS-6-3-1024k策略相对3副本可以节省50%的存储空间,每份数据最多允许丢失3个数据块,数据写入和恢复时减少50%的网络传输量。
RS-6-3-1024k策略的定义:
1. 使用 RS(Reed Solomon)编解码算法。
2. 有6个DN用于存储数据块。
3. 有3个DN存储校验块。
4. 最大可以容忍3个块丢失的异常情况。
5. 每个文件块的大小为1024k(即1MB)。
6. 如果使用该EC策略存储的文件为100MB,则写入DataNode中的总数据量为(1+3/6) * 100MB=150MB。其中:
数据块总大小为文件大小100MB。
校验块总大小为3/6 * 100MB=50MB。

操作步骤

1. 登录 EMR Serverless HBase 控制台,从实例列表中找到需要销毁的实例,单击实例 ID 进入实例信息页
2. 高级设置中找到 EC 策略,单机开关打开 EC 策略设置弹框。
3. 在 EC 策略设置弹框中,确认开启或关闭策略的风险后,单机确认或确认关闭进行操作确认。
注意:
仅支持使用的 EC 策略为 RS-6-3-1024k,策略开启需满足实例节点数不低于10个。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈