tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们

EMR 更新 Hadoop-COS

PDF
聚焦模式
字号
最后更新时间: 2026-01-14 15:26:40
说明:
COSN 是 Hadoop-COS 文件系统的简称。

功能介绍

EMR 集群支持 COS 标准存储桶和元数据加速桶,但在 EMR 环境下需检查 JAR 包版本是否符合环境要求;若不符合要求需要更新 hadoop-cos 包和 cos_api-bundle 版本;本文主要介绍 EMR 更新 COSN 文件 JAR 包。
EMR 挂载元数据加速桶操作步骤参考:挂载元数据加速桶

操作步骤

警告:
如下示例*存在两种格式,如:hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 和 hadoop-temrfs-1.0.6.jar。
1. 当集群中使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时需 提交工单 支持更新。
2. 当集群中未使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时,按如下操作正常升级更新。
3. * =hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 格式时,无需考虑集群是否使用 cosranger,均按如下操作正常升级更新。

场景一

当 core-site.xml 中 fs.cosn.impl=com.qcloud.emr.fs.TemrfsHadoopFileSystemAdapter 时
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
说明:
temrfs_hadoop_plugin_network-1.3下载地址:temrfs_hadoop_plugin_network-1.3.jar
2. 在 core-site.xml,新增如下配置项:
emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
emr.temrfs.download.version=2.8.5-8.2.7-1.0.7
说明:
如上示例中:2.8.5替换为您的 hadoop 版本,8.2.7替换为您需要的 hadoop-cos 包的版本,但确保版本不低于8.2.7, cos_api-bundle 版本会自动适配。
参考如下:
Hadoop 版本
hadoop-cos 包版本
emr.temrfs.download.version
emr.temrfs.download.md5
2.8.5
8.2.7
2.8.5-8.2.7-1.0.7
05d018fcf087d945ec62e3cf2eefc162
3.1.0
8.2.7
3.1.0-8.2.7-1.0.8
53b4f95d1c44a268f16b009e43db7130

场景二

当 core-site.xml 中 fs.cosn.impl=org.apache.hadoop.fs.cosnative.NativeCosFileSystem 时
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
2. 在 core-site.xml,新增如下配置项:
emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
emr.temrfs.download.version=2.8.5-8.2.7-1.0.7 (参考场景一)
emr.temrfs.download.region=sh
emr.temrfs.tmp.cache.dir=/data/emr/hdfs/tmp/temrfs

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈