【问题标题】:Cassandra Spark Connector latest version how to getCassandra Spark Connector最新版本如何获取
【发布时间】:2017-04-17 19:58:27
【问题描述】:

Cassandra Spark 连接器的最新版本是什么。基于网站 spark-cassandra-connector 最新是 1.63

基于spark-cassandra-connector 上的兼容性矩阵需要Sparks2 的连接器版本2。那么我们在哪里可以找到 Connector 2 版本呢?已经出来了吗?

连接器 Spark Cassandra Cassandra Java 驱动程序 2.0 2.0 2.1.5*、2.2、3.0 3.0 1.6 1.6 2.1.5*、2.2、3.0 3.0 1.5 1.5、1.6 2.1.5*、2.2、3.0 3.0

谢谢

【问题讨论】:

    标签: apache-spark cassandra datastax-enterprise spark-cassandra-connector


    【解决方案1】:

    【讨论】:

    • 谢谢,还有更多关于 jar 文件的内容。我正试图从 git 编译 SBT 地狱。我收到 1273 个错误(仅)。 有人需要简化 git 上的编译指令
    • SCC 编译指令? ./sbt/sbt assembly?
    • 我安装了 sbt 和 Scala 2.10.5,jdk8,从 git 下载最新。在 Windows 上运行时出错:\spark-cassandra-connector-master>sbt/sbt assemblyUsing snapshots: https://oss.sonatype.org/content/repositories/snapshots for snapshots fatal: Not a git repository (or any of the parent directories): .git java.lang.RuntimeException: Nonzero exit value: 128 at scala.sys.package$.error(package.scala:27) ..... Project loading failed: (r)etry, (q)uit, (l)ast, or (i)gnore? r
    • 您需要克隆存储库,而不仅仅是下载它
    • 我刚刚下载了一个解压缩的存储库(没有克隆)。从根 spark-cassandra-connector-master \spark-cassandra-connector-master>sbt/sbt assembly 运行命令。但说明是 在根目录中 运行 sbt assembly 。我尝试了很多方法——不同程度的失败。
    【解决方案2】:

    我不是 sbt 或 scala 人。但是基于此,我认为这完全取决于您从(目录)运行 sbt 命令的位置。如果你安装了 sbt 并且在 PATH 中你可以从任何地方运行 sbt。对我来说,困惑(仍然)是运行哪个/在哪里运行 sbt。因为 /sbt 目录中有一个 sbt 文件(你从 git 获得)。 目录结构是

    C:\git\spark-cassandra-connector
      \spark-cassandra-connector
         \src
      \sbt
       sbt
    

    我运行的命令终于奏效了:

    C:\git\spark-cassandra-connector>sbt assembly  
    

    这实际上是per instructions: " 在根目录下运行

    sbt assembly
    

    将为这两个目录生成一个胖 jar:

    spark-cassandra-connector/target/scala-{binary.version}/ spark-cassandra-connector-java/target/scala-{binary.version}/

    为 Scala 应用选择前者,为 Java 选择后者。 "

    但我只有 1 个 jar 文件。

    我没有(得到)spark-cassandra-connector-java/ 所以最终没有得到生成的 java .jar 文件(??)

    让我们看看它是否有效。

    【讨论】:

      猜你喜欢
      • 2019-06-21
      • 2019-03-23
      • 2016-09-02
      • 2019-04-10
      • 2021-05-13
      • 2017-08-06
      • 2016-03-22
      • 2018-03-01
      • 2019-10-28
      相关资源
      最近更新 更多