spark cassandra 应用程序失败，收到信号 15：SIGTERM答案

【问题标题】：spark cassandra application fails with RECEIVED SIGNAL 15: SIGTERMspark cassandra 应用程序失败，收到信号 15：SIGTERM
【发布时间】：2016-07-18 11:17:19
【问题描述】：

我正在使用 spark-cassandra-connector 运行一个 spark 应用程序。

以下是我的 spark-submit 选项

--class com.mobi.vserv.driver.Query5kPids1
--num-executors 4
--executor-memory 4g
--executor-cores 2
--driver-memory 4g

但我不断收到以下错误

16/03/30 11:57:07 错误 executor.CoarseGrainedExecutorBackend：驱动程序 10.225.46.84:60637 解除关联！正在关机。

cassandra 也已连接，然后断开

INFO Cluster: New Cassandra host /10.229.84.123:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.229.84.123 (us-east)

INFO Cluster: New Cassandra host /10.229.19.210:9042 added -> This is Seed Node
(This Message -> INFO LocalNodeFirstLoadBalancingPolicy: Doesnt show for Seed Node)

INFO Cluster: New Cassandra host /10.95.215.249:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.95.215.249 (us-east)

INFO Cluster: New Cassandra host /10.43.182.167:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.43.182.167 (us-east)

INFO Cluster: New Cassandra host /10.155.34.67:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.155.34.67 (us-east)

INFO Cluster: New Cassandra host /10.237.235.209:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.237.235.209 (us-east)

INFO CassandraConnector: Connected to Cassandra cluster: dmp Cluster

INFO CassandraConnector: Disconnected from Cassandra cluster: dmp Cluster

最后 Yarn 杀死了应用程序大师

错误ApplicationMaster：收到信号15：SIGTERM

我也加了

--conf spark.yarn.executor.memoryOverhead=1024
--conf spark.yarn.driver.memoryOverhead=1024

但是应用程序会一直运行下去。

我不知道这里似乎是什么问题，因为之前运行过该应用程序并且它运行成功

使用的POM是

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.6.0</version>
  </dependency>

  <dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector_2.10</artifactId>
    <version>1.4.0-M1</version>
  </dependency>

  <dependency>
   <groupId>com.datastax.cassandra</groupId>
   <artifactId>cassandra-driver-core</artifactId>
   <version>2.1.6</version>
  </dependency>

  <dependency>
   <groupId>com.datastax.spark</groupId>
   <artifactId>spark-cassandra-connector-java_2.10</artifactId>
   <version>1.4.0-M1</version>
  </dependency>

【问题讨论】：

标签： apache-spark cassandra spark-cassandra-connector

【解决方案1】：

找到解决方案，因为此处提到的 spark-cassandra-connector 1.4.0-M1 存在错误https://datastax-oss.atlassian.net/browse/SPARKC-214

所以当我使用下一个版本时，即 1.4.0-M2。效果很好。

但似乎最奇怪的是，它之前已与 1.4.0-M1 一起使用。

【讨论】：