tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们

Zeppelin 解析器配置

PDF
聚焦模式
字号
最后更新时间: 2025-01-03 15:02:25
本文以 Zepplin 0.91 以上版本为例,主要介绍常见 Zeppelin 解析的配置以及验证方法。

Spark 解析器

配置

SPARK_HOME: /usr/local/service/spark
spark.master: yarn
spark.submit.deployMode: cluster
spark.app.name: zeppelin-spark

验证

1. 先把 wordcount.txt 文件上传到 emr hdfs 的/tmp 路径下。
2. 通过 core-site.xml 找到 fs.defaultFS 配置项值 hdfs://HDFS45983。
3. 在 notebook 中执行 spark 相关代码。
%spark
val data = sc.textFile("hdfs://HDFS45983/tmp/wordcount.txt")
case class WordCount(word: String, count: Integer)
val result = data.flatMap(x => x.split(" ")).map(x => (x, 1)).reduceByKey(_ + _).map(x => WordCount(x._1, x._2))
result.toDF().registerTempTable("result")

%sql
select * from result

配置

FLINK_HOME: /usr/local/service/flink

flink.execution.mode: yarn

验证

%flink
val data = benv.fromElements("hello world", "hello flink", "hello hadoop")
data.flatMap(line => line.split("\\\\s"))
.map(w => (w, 1))
.groupBy(0)
.sum(1)
.print()

HBase 解析器

配置

hbase.home: /usr/local/service/hbase

hbase.ruby.sources: lib/ruby

zeppelin.hbase.test.mode: false
注意
此解析器依赖的 jar 包已集成到集群/usr/local/service/zeppelin/local-repo 路径下,因此不用配置 dependencies,如需已定义 jar 包才需配置dependencies。

验证

%hbase
help 'get'

%hbase
list

Livy 解析器

配置

zeppelin.livy.url: http://ip:8998

验证

%livy.spark
sc.version

%livy.pyspark
print "1"

%livy.sparkr
hello <- function( name ) {
sprintf( "Hello, %s", name );
}
hello("livy")

Kylin 解析器

配置

1. 在 Kylin 控制台页面中新建一个 default 的 Project。
2. 配置 zeppelin 的 kylin interpreter。
kylin.api.url: http://ip:16500/kylin/api/query

kylin.api.user: ADMIN

kylin.api.password: KYLIN

kylin.query.project: default

验证

%kylin(default)

select count(*) from table1

JDBC 解析器

1. MySQL 解析器配置

default.url: jdbc:mysql://ip:3306

default.user: xxx

default.password: xxx

default.driver: com.mysql.jdbc.Driver
注意
此解析器依赖的 jar 包已集成到集群/usr/local/service/zeppelin/local-repo 路径下,因此不用配置 dependencies,如需已定义 jar 包才需配置 dependencies。
验证
%mysql
show databases


2. Hive 解析器配置

default.url: jdbc:hive2://ip:7001

default.user: hadoop

default.password:

default.driver: org.apache.hive.jdbc.HiveDriver
注意
此解析器依赖的 jar 包已集成到集群/usr/local/service/zeppelin/local-repo 路径下,因此不用配置 dependencies,如需已定义 jar 包才需配置 dependencies。

验证

%hive
show databases

%hive
use default;
show tables;

3. Presto 解析器配置

default.url: jdbc:presto://ip:9000?user=hadoop

default.user: hadoop

default.password:

default.driver: io.prestosql.jdbc.PrestoDriver
注意
此解析器依赖的 jar 包已集成到集群/usr/local/service/zeppelin/local-repo 路径下,因此不用配置 dependencies,如需已定义 jar 包才需配置 dependencies。

验证

%presto
show catalogs;

%presto
show schemas from hive;

%presto
show tables from hive.default;
更多版本及解析器配置请参考 Zeppelin 官网文档

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈