tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们

Hive 概述

PDF
聚焦模式
字号
最后更新时间: 2024-10-30 11:30:23
Hive 是一个建立在 Hadoop 文件系统上的数据仓库架构,它为数据仓库的管理提供了许多功能,包括数据 ETL(抽取、转换和加载)工具、数据存储管理和大型数据集的查询和分析能力。同时 Hive 还定义了类 SQL 的开发语言,允许用户将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能。
EMR 中 Hive 安装在路径在 EMR 节点的 /usr/local/service/hive 路径下。
关于 Hive 更多的介绍,可以参考Apache Hive官网

Hive 服务角色

角色名称
说明
HiveServer2
Hive 的 ThriftServer 服务,用于接收客户端的查询请求并进行 SQL 编译及解析,支持多客户端并发以及身份验证。
一个 EMR 集群可部署多个 HiveServer2,支持拓展至 Router 节点并配置负载均衡。
Hive MetaStore
Hive 的元数据服务, 用于维护 Hive Database 和 Hive Table 的元数据信息。该模块的元数据管理能力也被 Spark 、Trino 等引擎所集成。
一个 EMR 集群可部署多个 Hive MetaStore,支持拓展至 Router 节点。
Hive Client
Hive 客户端,提供 Beeline、JDBC 等应用驱动,可以向 HiveServer2 提交 SQL 作业。部署 Hive 服务的节点均会进行安装。
Hive WebHCat
WebHCat 是为 HCatalog 提供 REST API 的服务,提供 Rest 接口,通过 Rest 执行 Hive 命令,提交 MapReduce 任务。
一个集群内可部署多个 WebHCat,支持拓展至 Router 节点。

Hive 内部表与外部表

内部表:Hive 管理内部表的元数据以及表的实际数据,使用 DROP 语法删除内部表的时候,表的元数据及对应的数据都会被删除。创建内部表后会将 HDFS 的文件映射成 Table,然后 Hive 的数据仓库生成对应的目录,EMR 默认的仓库路径为 /usr/hive/warehouse/${tablename},这个路径在 HDFS 上面,其中 ${tablename} 是您创建的表名。
外部表:Hive 中的外部表和内部表很类似,但是其数据不是放在自己表所属的目录中,而是存放到其他地方。这样的好处是如果您要删除这个外部表,此外部表所指向的数据是不会被删除的,它只会删除外部表对应的元数据。

Hive 语法

弹性 MapReduce 中的 Hive 完全兼容开源社区语法,可通过 HiveQL社区语法手册 进行查阅。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈