产品动态
产品公告
安全公告
日志
功能介绍
日志功能提供组件的运行日志采集、搜索及导出功能，支持当前集群核心服务日志和节点系统日志进行关键词搜索，可以在不登录节点的情况下快速查看服务关键日志。
操作步骤
1. 登录 EMR 控制台，在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中选择集群监控 > 日志可根据当前集群、日志文件、节点 IP 和时间范围条件过滤，查看日志内容。
或者在集群详情页中选择集群服务>组件卡片>角色管理，查看角色列表，选择某一节点 IP 单击跳转，进入节点监控指标展示页，单击角色日志，可跳转日志搜索页面。
支持关键字全文检索 。
支持特殊字符 - . * > < = ! () {} / 检索。
支持短语检索，例如：
address=/ip:port。3. 在排查问题的时候，经常需要关注关键词的上下文日志，在日志搜索页单击查看上下文，进入日志上下文页面。
4. 支持筛选日志结果和源日志导出，导出日志可下载到本地。
5. 支持集群日志投递到 ES Serverless 或 CLS 日志服务。
说明：
支持投递到 ES serverless 的日志范围包括进程的运行时日志、审计日志、用户任务日志及其他类自定义日志。
支持投递到 CLS 的日志范围包括进程的运行时日志、服务审计日志。
日志搜索支持的服务类型
注意：
当前仅支持30天日志搜索。
若集群未开启日志采集，如需开启日志采集，请联系您的专属售后。
仅部分服务默认开启审计日志采集，若集群需要开启审计日志采集，请联系您的专属售后支持。
组件 | 角色 | 日志 | 说明 |
HDFS | NameNode | /data/emr/hdfs/logs/hadoop-hadoop-namenode.log | NameNode 的运行时日志 |
| NNAudit | /data/emr/hdfs/logs/nn-audit.log | NameNode 的审计日志 |
| ZKFC | /data/emr/hdfs/logs/hadoop-hadoop-zkfc.log | ZKFC 的运行时日志 |
| ZKFCAudit | /data/emr/hdfs/logs/SecurityAuth-zkfc-audit.log | ZKFC 的审计日志 |
| DataNode | /data/emr/hdfs/logs/hadoop-hadoop-datanode.log | DataNode 的运行时日志 |
| DNAudit | /data/emr/hdfs/logs/SecurityAuth-datanode-audit.log | DataNode 的审计日志 |
| JournalNode | /data/emr/hdfs/logs/hadoop-hadoop-journalnode.log | JournalNode 的运行时日志 |
| JNAudit | /data/emr/hdfs/logs/SecurityAuth-journalnode-audit.log | JournalNode 的审计日志 |
| DFSRouter | /data/emr/hdfs/logs/hadoop-hadoop-dfsrouter.log | DFSRouter 的运行时日志 |
YARN | ResourceManager | /data/emr/yarn/logs/yarn-hadoop-resourcemanager.log | ResourceManager 的运行时日志 |
| RMAudit | /data/emr/yarn/logs/ rm-audit.log | ResourceManager 的审计日志 |
| NodeManager | /data/emr/yarn/logs/yarn-hadoop-nodemanager.log | NodeManager 的运行时日志 |
| NMAudit | /data/emr/yarn/logs/nm-audit.log | NodeManager 的审计日志 |
| JobHistoryServer | /data/emr/yarn/logs/mapred-hadoop-historyserver.log | JobHistoryServer 的运行时日志 |
| TimelineServer | /data/emr/yarn/logs/yarn-hadoop-timelineserver.log | TimelineServer 的运行时日志 |
HBase | HMaster | /data/emr/hbase/logs/hbase-hadoop-master.log | HMaster 的运行时日志 |
| HMAudit | /data/emr/hbase/logs/SecurityAuth-hmaster-audit.log | HMaster 的审计日志 |
| ThriftServer | /data/emr/hbase/logs/hbase-hadoop-thrift.log | ThriftServer 的运行时日志 |
| RegionServer | /data/emr/hbase/logs/hbase-hadoop-regionserver.log | RegionServer 的运行时日志 |
| RSAudit | /data/emr/hbase/logs/SecurityAuth-regionserver-audit.log | RegionServer 的审计日志 |
| RestServer | /data/emr/hbase/logs/hbase-hadoop-rest.log | RestServer的运行日志 |
ClickHouse | ClickHouse-server | /data/clickhouse/clickhouse-server/logs/clickhouse-server.log | ClickHouse-server 的运行时日志 |
Druid | Broker | /data/emr/druid/var/log/druid/broker.log | Broker 的运行时日志 |
| Coordinator | /data/emr/druid/var/log/druid/coordinator.log | Coordinator 的运行时日志 |
| Router | /data/emr/druid/var/log/druid/router.log | Router 的运行时日志 |
| Overload | /data/emr/druid/var/log/druid/overload.log | Overload 的运行时日志 |
| Historical | /data/emr/druid/var/log/druid/historical.log | Historical 的运行时日志 |
| MiddleManager | /data/emr/druid/var/log/druid/middleManager.log | MiddleManager 的运行时日志 |
ZooKeeper | ZooKeeper | /data/emr/zookeeper/logs/zookeeper-root-server.log | Zookeeper 的运行时日志 |
| ZKAudit | /data/emr/zookeeper/logs/zookeeper-audit.log | Zookeeper 的审计日志 |
Hive | HiveServer2 | /data/emr/hive/logs/hadoop-hive | HiveServer2 的运行时日志 |
| HS2Audit | /data/emr/hive/logs/hadoop_hive_server2_audit | HiveServer2 的审计日志 |
| HMSAudit | /data/emr/hive/logs/hadoop-hivemetastore | HiveMetaStore 的审计日志 |
Kudu | KuduMaster | /data/emr/kudu/logs/kudu-master.WARNING | KuduMaster 的运行时日志 |
| KuduServer | /data/emr/kudu/logs/kudu-tserver.WARNING | KuduServer 的运行时日志 |
Alluxio | AlluxioMaster | /data/emr/alluxio/logs/master.log | AlluxioMaster 的运行时日志 |
| AlluxioWorker | /data/emr/alluxio/logs/worker.log | AlluxioWorker 的运行时日志 |
Ranger | EmbeddedServer | /data/emr/ranger/logs/ranger-admin.log | EmbeddedServer 的运行时日志 |
CosRanger | CosRangerServer | /usr/local/service/cosranger/log/info.log | CosRanger 的运行时日志 |
Impala | Catalogd | /data/emr/impala/logs/catalogd.INFO | Catalogd 的运行时日志 |
| Statestored | /data/emr/impala/logs/statestored.INFO | Statestored 的运行时日志 |
| Impalad | /data/emr/impala/logs/impalad.INFO | Impalad 的运行时日志 |
Spark | HistoryServer | /data/emr/spark/logs/spark-hadoop.log | HistoryServer 的运行时日志 |
| SparkSQLAudit | /data/emr/spark/logs/spark-audit.log | Spark 的审计日志 （EMR V2.7.0及以上 & EMR V3.4.0及以上） |
Kylin | Kylin | /data/emr/kylin/logs/kylin.log | Kylin 的运行时日志 |
Zeppelin | ZeppelinServer | /data/emr/zeppelin/logs/zeppelin-hadoop.log | ZeppelinServer 的运行时日志 |
Knox | Gateway | /data/emr/knox/logs/gateway.log | Gateway 的运行时日志 |
Doris | BrokerBootstrap | /data/emr/doris/broker/log/apache_hdfs_broker.log | BrokerBootstrap 的运行时日志 |
| PaloFe | /data/emr/doris/fe/log/fe.log | PaloFe 的运行时日志 |
| PaloBe | /data/emr/doris/be/log/be.INFO | PaloBe 的运行时日志 |
Kafka | Kafka | /usr/local/service/kafka/logs/server.log | Kafka 的运行时日志 |
Kyuubi-on CVM | KyuubiServer | /data/emr/kyuubi/logs/kyuubi.log /data/emr/kyuubi/logs/kyuubi-hadoop-org.apache.kyuubi.server.KyuubiServer-hostIp.out | KyuubiServer 的运行时日志 |
| KyuubiWorkLog | /data/emr/log/work/.../xxx.log | KyuubiWorkLog 用户日志（2025年6月24日之后创建） |
Kyuubi-on TKE | KyuubiServer | /data1/emr/kyuubi/logs/kyuubi--org.apache.kyuubi.server.KyuubiServer-hostName.out | KyuubiServer 的运行时日志 |
| KyuubiWorkLog | /data1/emr/kyuubi/work/.../xxx.log | KyuubiWorkLog 用户日志（2025年6月24日之后创建） |
Trino | Coordinator | /data/emr/trino/logs/coordinator.log | Coordinator 的运行时日志（EMR V3.4.0及以上） |
| Worker | /data/emr/trino/logs/worker.log | Worker 的运行时日志 （EMR V3.4.0及以上） |
| Coordinator | /data/emr/trino/var/logs/coordinator.log | Coordinator 的运行时日志（EMR V2.7.0及以上） |
| Worker | /data/emr/trino/var/logs/worker.log | Worker 的运行时日志 （EMR V2.7.0及以上） |
StarRocks | FE | /data/emr/starrocks/fe/log/fe.log | FE 的运行时日志 |
| BE | /data/emr/starrocks/be/log/be.INFO | BE 的运行时日志 |
| Broker | /data/emr/starrocks/broker/log/apache_hdfs_broker.log | Broker 的运行时日志 |
| CN | /data/emr/starrocks/be/log/cn.INFO | CN 的运行时日志 |
服务支持最低日志级别
服务 | 默认采集的最低日志级别 |
Impala、Kudu | INFO |
其他服务 | WARN |
最低日志级别查询规则
最低日志级别 | 可查询的日志级别 |
INFO | INFO、WARN、ERROR、FATAL |
WARN | WARN、ERROR、FATAL |
ERROR | ERROR、FATAL |
FATAL | FATAL |
文档反馈