【问题标题】:Zeppelin in EMR Cluster not listing Catalog tables in AWS glueEMR 集群中的 Zeppelin 未列出 AWS 胶水中的目录表
【发布时间】:2018-03-16 17:20:37
【问题描述】:

我想将 AWS Glue 数据目录用作 Spark SQL 的元存储。我已经通过AWS控制台as instructed here启动了EMR集群。

我可以从 spark-shell 中查看所有 Glue 目录表,但不能从 Zeppelin 中查看。

Zeppelin 属性配置中是否需要设置任何属性?

提前致谢。

【问题讨论】:

  • 我们也遇到了这个问题 - 我们可以通过 Spark shell 访问 AWS Glue 表,但不能通过 Zeppelin。这可能是 Zeppelin 的一个问题 - 我们希望它会很快得到解决......

标签: amazon-web-services apache-spark amazon-emr apache-zeppelin aws-glue


【解决方案1】:

【讨论】:

  • @Jagadeesh 你有一些使用胶水数据目录作为 sparrk SQL 元存储的示例代码吗?我正在尝试从 pyspark 执行此操作以在 pyspark 中加载数据框
猜你喜欢
  • 1970-01-01
  • 2016-02-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-06-22
  • 2017-10-20
  • 2020-05-11
  • 2017-10-28
相关资源
最近更新 更多