tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们
文档弹性 MapReduce实践教程EMR on CVM 运维实践HDFS DataNode 维护状态切换实践教程

HDFS DataNode 维护状态切换实践教程

PDF
聚焦模式
字号
最后更新时间: 2025-01-03 15:05:10
DataNode 维护状态(IN_MAINTENANCE)适用于 DataNode 短暂下线,但不需要迁移数据的场景,如服务快速维修,磁盘更换等。DataNode 维护模式操作入口控制台默认不开启,需要用户手动配置后支持。
说明:
1. 该操作仅支持 Hadoop3.x 及以上版本。
2. 暂停状态的 DataNode 不支持维护操作。

开启控制台切换管理状态操作入口

1. 修改 hdfshosts 中的内容为 json 格式。
使用控制台集群脚本功能在 Master 节点上执行脚本文件 hdfshosts_txt_to_json.sh 和 hdfshosts_txt_to_jso_rollback.sh,脚本文件内容如下:
#!/bin/bash

cd /usr/local/service/hadoop/etc/hadoop
file=hdfshosts
if [ ! -f "$file" ];then
echo "$file not exists"
exit -1
fi

bak_file="$file.txt.bak"
if [ ! -f "$bak_file" ];then
cp -f $file $file.txt.bak
fi

output_file="$file.tmp"
## 生成json文件
echo '[' > "$output_file"
first_record=true
while IFS= read -r line
do
if [ "$first_record" = false ]; then
echo ',' >> "$output_file"
fi

echo " {\\"hostName\\": \\"$line\\"}" >> "$output_file"

first_record=false
done < "$file"
echo ']' >> "$output_file"
mv -f $output_file $file
chown hadoop:hadoop $file
chmod 755 $file
cat $file
#!/bin/bash

cd /usr/local/service/hadoop/etc/hadoop
file=hdfshosts
bak_file="$file.txt.bak"
cp -f $bak_file $file
chown hadoop:hadoop $file
chmod 755 $file
cat $file
2. 在 hdfs-site.xml 中新增配置项。
新增配置参数 dfs.namenode.hosts.provider.classname,参数值 org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager。

3. 保存并下发配置后,重启 NameNode。
4. 查看 WebUI 或者执行 hdfs dfsadmin -report 进行检查。
5. (建议)缩容、扩容 core 节点一次,因为上述操作会修改 hdfshosts 文件,避免后续出现问题。
6. 在 HDFS 角色管理中出现切换管理状态按钮。

DataNode 进入维护状态

1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击集群服务,然后选择 HDFS 组件右上角操作 > 角色管理
3. 角色管理勾选操作状态为已启动的 DataNode 角色后,选择更多>切换管理状态执行 DataNode 进入维护状态操作。
4. 选择进入维护状态时,可设置维护时间。维护时间内 DataNode 将不再对外提供服务,且不会进行数据迁移;超过配置的维护时间之后还没有恢复服务将开始数据迁移。

DataNode 退出维护状态

若维护时间内节点维修完成,超时后 DataNode 将重新对外提供服务,但是维护状态需要用户在控制台手动操作退出。
1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击集群服务,然后选择 HDFS 组件右上角操作 > 角色管理
3. 角色管理勾选操作状态为已启动(维护中)的 DataNode 角色后,选择更多>切换管理状态执行 DataNode 退出维护状态操作。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈