【问题标题】:beeline query to Spark Thrift Server not showing anything in Spark History UI对 Spark Thrift Server 的直线查询未在 Spark History UI 中显示任何内容
【发布时间】:2018-01-04 20:01:35
【问题描述】:

我刚刚在端口 10016(默认)上使用 Hive 和 Spark Thrift Server 构建了一个 Hortonworks 集群,并通过直线到 STS 测试了 SELECT 语句

https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server

beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;

我可以得到结果,一切都很好。但我的问题是查询为什么根本不显示在 Spark History Server UI 中?我怎么知道它是否真的是 Spark 做计算工作还是通过 HiveServer2?

更新 1

这是我所拥有的,并且默认情况下已经启用日志:

【问题讨论】:

    标签: apache-spark hive apache-spark-sql beeline spark-thriftserver


    【解决方案1】:

    如果您使用端口 10016 的连接 - 它是 Spark。 请检查属性 spark.eventLog.enabled 是否设置为 true(它必须在 $SPARK_HOME/conf/spark-defaults.conf 中)。

    【讨论】:

    • 我在上面添加了我的截图。谢谢。
    猜你喜欢
    • 2020-12-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-06-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多