tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们
文档弹性 MapReduce快速入门EMR on CVM 快速入门

EMR on CVM 快速入门

PDF
聚焦模式
字号
最后更新时间： 2024-10-30 10:00:07
本文为您介绍通过 EMR 控制台快速创建一个 EMR on CVM 集群、提交作业并查看运行结果的操作流程。

准备工作

1. 在使用 EMR 集群前，需要注册腾讯云账号并完成实名认证，具体操作请参见 企业实名认证指引。
2. 完成对弹性 MapReduce 的服务账号授予系统默认角色 EMR_QCSRole，具体操作请参见 角色授权。
3. 在线账号充值，EMR on CVM 提供两种计费模式：按量计费和包年包月计费，在创建集群前需要进行账号余额充值，确保余额大于等于创建集群所需配置费用（不包含：代金券等）；具体操作请参见考 充值流程说明。

创建集群

登录 EMR 控制台，在 EMR on CVM 集群列表页单击创建集群，在购买页面完成相关配置；当集群列表中集群状态显示为运行中时，表示集群创建成功。
购买步骤
配置项
配置项说明
示例
软件配置
地域
集群所部署的物理数据中心
注意：集群创建后，无法更改地域，请谨慎选择
北京、上海、广州、南京、成都、硅谷等
集群类型
EMR on CVM 支持多种集群类，默认 Hadoop 集群类型
Hadoop、StarRocks 等
产品版本
不同产品版本上捆绑的组件和组件的版本不同
EMR-V2.7.0 版本中内置的是 Hadoop 2.8.5、Spark 3.2.1 等
部署组件
非必选组件，根据自身需求组合搭配自定义部署
Hive-2.3.9、Impala-3.4.1等
区域与硬件配置
计费模式
集群部署计费模式
按量计费
可用区及网络配置
可用区、集群网络设置注意：集群创建后，无法直接更改可用区，请谨慎选择
广州七区
安全登录
用于设置节点的网络访问控制，安全组同防火墙功能
创建新安全组
节点配置
根据业务需要为不同节点类型选择合适机型配置。详情请参见 业务评估
开启节点部署高可用
基础配置
所属项目
将当前集群分配给不同的项目组
集群创建后暂不支持修改所属项目
集群名称
集群的名称，可自定义
EMR-7sx2aqmu
登录方式
自定义设置密码方式和关联密钥方式；SSH 密钥仅用于 EMR-UI 快捷入口登录
密码
确认配置
配置清单
确认所部署信息是否有误
选中服务协议，单击立即购买
注意
您可以在 CVM 控制台中查看各节点信息，为保证 EMR 集群的正常运行，请勿在 CVM 控制台中更改节点配置信息。

提交作业及查看运行结果

集群创建成功后，您可以在该集群创建并提交作业；本文已提交 spark 任务为例，操作如下。
注意
在创建 EMR 集群的时候需要在软件配置界面选择 Spark 组件。
1. 使用 SSH 登录并连接集群（本地系统为 Linux/Mac OS），详情请参见 登录集群。
2. 在 EMR 命令行先使用以下指令切换到 Hadoop 用户，并进入 Spark 安装目录/usr/local/service/spark：
[root@172 ~]# su hadoop
[hadoop@172 root]$ cd /usr/local/service/spark
3. 通过如下指令提交任务并运行：
/usr/local/service/spark/bin/spark-submit \\
--class org.apache.spark.examples.SparkPi \\
--master yarn \\
--deploy-mode cluster \\
--proxy-user hadoop \\
--driver-memory 1g \\
--executor-memory 1g \\
--executor-cores 1 \\
/usr/local/service/spark/examples/jars/spark-examples*.jar \\
10
4. 提交作业后，在 EMR on CVM 页面，单击目标集群所在行的集群服务；单击 YARN UI 所在行的 WebUI 链接。登录认证后即可进入YARN UI 页面；单击目标作业的 ID，可以查看作业运行的详情。

销毁集群

当创建的集群不再使用时，可以销毁集群，退还资源；毁集群将强制终止集群所提供的服务，并释放资源。
在 EMR on CVM 页面，选择目标集群的更多 > 销毁；在弹出的对话框中，单击立即销毁。
上一篇: 欠费说明下一篇: EMR on TKE 快速入门

帮助和支持

本页内容是否解决了您的问题？

填写满意度调查问卷，共创更好文档体验。

文档反馈