错误：值 cassandraTable 不是 org.apache.spark.SparkContext 的成员答案

【问题标题】：error: value cassandraTable is not a member of org.apache.spark.SparkContext错误：值 cassandraTable 不是 org.apache.spark.SparkContext 的成员
【发布时间】：2016-02-07 22:31:20
【问题描述】：

我想访问 Spark 中的 Cassandra 表。以下是我正在使用的版本

spark: spark-1.4.1-bin-hadoop2.6
cassandra: apache-cassandra-2.2.3
spark cassandra 连接器：spark-cassandra-connector-java_2.10-1.5.0-M2.jar

下面是脚本：

sc.stop

import com.datastax.spark.connector._, org.apache.spark.SparkContext, org.apache.spark.SparkContext._, org.apache.spark.SparkConf
val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost")
val sc = new SparkContext(conf)
val test_spark_rdd = sc.cassandraTable("test1", "words")

当我运行最后一条语句时，我得到一个错误

:32: 错误：值 cassandraTable 不是 org.apache.spark.SparkContext val test_spark_rdd = sc.cassandraTable("test1", "words")

解决错误的提示会很有帮助。

谢谢

【问题讨论】：

对于初学者，连接器版本应该与 Spark 版本匹配，因此对于 Spark 1.4，您应该使用连接器 1.4。
我尝试使用版本 spark-cassandra-connector-java_2.10-1.4.0.jar。还是一样的错误
你确定你的 import 语句没有抛出异常吗？如果不是，您如何启动外壳？ --packages?
我使用 hte 下面的命令来启动 shell ./bin/spark-shell --jars /opt/spark-1.4.0-bin-hadoop2.6/lib/spark-cassandra-connector_2。 10-1.4.0.jar

标签： apache-spark cassandra connector

【解决方案1】：

实际上在 shell 上你需要导入相应的包。不需要做任何额外的事情。

例如scala> 导入 com.datastax.spark.connector._;

【讨论】：