动态与公告

产品动态

产品公告

安全公告

产品简介

产品概述

产品优势

产品架构

产品功能

应用场景

约束与限制

技术支持范围

产品发行版

购买指南

EMR on CVM 计费说明

EMR on TKE 计费说明

EMR Serverless HBase 计费说明

快速入门

EMR on CVM 快速入门

EMR on TKE 快速入门

EMR on CVM 操作指南

规划集群

管理权限

配置集群

管理集群

管理服务

监控告警

智能管家

EMR on TKE 操作指南

EMR on TKE 简介

配置集群

管理集群

管理服务

监控运维

应用分析

EMR Serverless HBase 操作指南

EMR Serverless HBase 产品简介

配额与限制

规划实例

管理实例

监控告警

开发指南

EMR 开发指南

Hadoop开发指南

Spark 开发指南

HBASE开发指南

Phoenix on Hbase 开发指南

Hive 开发指南

Presto开发指南

Sqoop 开发指南

Hue 开发指南

Oozie 开发指南

Flume 开发指南

Kerberos 开发指南

Knox 开发指南

Alluxio 开发指南

Kylin 开发指南

Livy 开发指南

Kyuubi 开发指南

Zeppelin 开发指南

Hudi 开发指南

Superset 开发指南

Impala 开发指南

Druid 开发指南

Tensorflow 开发指南

Kudu 开发指南

Ranger 开发指南

Kafka 开发指南

Iceberg 开发指南

StarRocks 开发指南

Flink 开发指南

JupyterLab 开发指南

MLflow 开发指南

实践教程

EMR on CVM 运维实践

数据迁移实践

自定义伸缩实践教程

API 文档

History

Introduction

API Category

Cluster Resource Management APIs

Cluster Services APIs

User Management APIs

Data Inquiry APIs

Scaling APIs

Configuration APIs

Other APIs

Serverless HBase APIs

YARN Resource Scheduling APIs

Making API Requests

Data Types

Error Codes

常见问题

EMR on CVM常见问题

服务等级协议

联系我们

在腾讯云中使用 Alluxio 文档

PDF

聚焦模式

字号

最后更新时间： 2025-01-03 14:56:32

概述
在腾讯云 EMR 上提供了开箱可用的 Alluxio 服务，以帮助腾讯云客户可以快速实现分布式内存级缓存加速、简化数据管理等。同时还可以通过腾讯云 EMR 控制台或 API 接口，使用配置下发功能，快速配置多层级缓存和元数据管理等，获取一站式监控告警等功能。
准备
腾讯云 EMR 的 Hadoop 标准版本2.1.0版本及以上。
有关 EMR 中版本中支持具体的 Alluxio 的版本支持可参考 组件版本。
创建基于 Alluxio 的 EMR 集群
本节主要说明如何在腾讯云 EMR 上创建开箱即用的 Alluxio 集群。EMR 创建集群提供了购买页创建和 API 创建两种方式。
购买页创建集群
您需要登录腾讯云 EMR 购买页，在购买页选择支持的 Alluxio 发布版本，并且在可选组件列表中勾选 Alluxio 组件。
﻿

其他的选项可根据业务具体业务场景，进行个性化配置，创建过程中的具体选项可参考 创建 EMR 集群。
API 创建集群
腾讯云 EMR 还提供了 API 方式构建基于 Alluxio 的大数据集群。具体可参考 查询硬件节点信息。
基础配置
创建一个带 Alluxio 组件的腾讯云 EMR 集群，默认会把 HDFS 挂载到 Alluxio 上，并使用内存作为单层 level0 存储。如果有需要更改更符合业务特性的多级存储，或者其他对应优化项，可以使用配置下发功能来完成相关配置。
﻿

在配置下发后，部分配置需要重启 Alluxio 服务才能生效。
﻿

更多配置下发和重启策略细节，可参考 配置下发 和 重启组件。
基于 Alluxio 加速计算存储分离
腾讯云 EMR 基于腾讯云对象存储（COS）提供了计算存储分离能力，默认直接访问对象存储中的数据时，应用程序没有节点级数据本地性或跨应用程序缓存。使用 Alluxio 加速将缓解这些问题。
在腾讯云 EMR 集群上默认已部署使用 COS 作为 UFS 的依赖 jar 包，只需授予访问 COS 的权限，并把 COS mount 到 Alluxio 上即可使用。
授权
若当前集群未开启对象存储，可在【访问管理控制台-角色】中进行授权，授权后 EMR 中节点可以通过临时密钥访问 COS 中数据。
﻿
﻿
Mount
登录到 EMR 任意一台机器，挂载 COS 到 Alluxio。
bin/alluxio fs mount <alluxio-path> <source-path>
//TODO,
更多在腾讯云 EMR 中使用 Alluxio 开发细节，可查阅 Alluxio 开发文档。