DSE Cassandra Spark 错误

Question

我花了一整天的时间想办法解决这个问题，但没有成功。

每次我的 java 应用程序尝试连接到我的 DSE Spark 主服务器时，它都会抛出一个错误：

Association with remote system [akka.tcp://sparkMaster@192.168.2.104:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

跟踪 cassandra 日志，我可以看到类版本中的不兼容：

ERROR [sparkMaster-akka.actor.default-dispatcher-2] 2015-06-09 16:39:12,066  
Slf4jLogger.scala:66 - org.apache.spark.deploy.ApplicationDescription; local 
class incompatible: stream classdesc serialVersionUID = 7674242335164700840, 
local
class serialVersionUID = 2812534333379744973
java.io.InvalidClassException: 
org.apache.spark.deploy.ApplicationDescription; local class incompatible: 
stream classdesc serialVersionUID = 7674242335164700840, local class 
serialVersionUID = 2812534333379744973

知道为什么会这样吗？

这是版本不匹配，但不清楚如何解决它。

我正在运行 DSE 4.7，我的 POM 文件如下所示：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector-java_2.10</artifactId>
    <version>1.2.1</version>
</dependency>

<dependency>
    <groupId>com.datastax</groupId>
    <artifactId>dse</artifactId>
    <version>version number</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/dse-4.7.0.jar</systemPath>
</dependency>

问题是哪个版本的 cassandra 连接器适用于 DSE 4.7？

Answer 1

版本不匹配。 DSE 4.7 随 Spark 1.2.1 一起提供，但您正在构建针对 1.1.1 的 jar。