【问题标题】:snappy-data with pre-build existing spark clustersnappy-data 与预先构建的现有 spark 集群
【发布时间】:2017-03-01 12:40:22
【问题描述】:

数据我会将我的 Spark 集群与 apache Hadoop 配置集成,它工作正常,然后我开始将我的 Spark 集群与 Azure 数据湖存储集成,它也工作正常,作为参考,我将这个 link 用于带有 azure 的 spark数据湖,然后我需要将 spark 与 Snappy 数据集成集成,根据 snappy-data 文档我们可以使用 snappy-data 包

./bin/spark-shell --conf spark.snappydata.store.sys-disk-dir=quickstartdatadir --conf spark.snappydata.store.log-file=quickstartdatadir/quickstart.log --packages "SnappyDataInc: snappydata:0.7-s_2.11"

执行此 One 后,我可以创建 Snappy 会话,但无法创建 Snappy 数据表。我在像 HiveUtill 包和 Org.apache.slf jar 问题上也面临这个问题。如果有人知道如何解决该问题,请告诉我谢谢..

【问题讨论】:

    标签: apache-spark-sql snappydata


    【解决方案1】:

    几个问题:

    1. 您使用的是哪个 Spark 版本?

    2. 您使用什么命令来创建 Snappy 表?

    我可以看到您没有连接到任何现有的 SnappyData 集群。您是否在本地模式下运行它进行测试?

    【讨论】:

      猜你喜欢
      • 2018-04-21
      • 2016-03-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多