如何使用 spark scala 将数据帧转换为 RDD 并将其存储在 cassandra

【问题标题】：How to convert dataframe to RDD and store it in cassandra using spark scala如何使用 spark scala 将数据帧转换为 RDD 并将其存储在 cassandra
【发布时间】：2019-01-26 03:17:31
【问题描述】：

如何将数据帧转换为 RDD 并将其存储在 Spark Scala 中的 Cassandra 中。考虑如下示例，

emp_id| emp_city|emp_name

 1|Hyderabad| ram
 4| Banglore| deeksha

这里我仅使用 3 列作为示例，但实际上我需要处理 18 列。

【问题讨论】：

标签： scala apache-spark cassandra

【解决方案1】：

可以直接保存DF，不用转成RDD。

df.write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "employee", "keyspace" -> "emp_data")).save()

谢谢。

【讨论】：

嗨，谢谢，我试过这个选项，它适用于上面的简单表，但我的时间戳列和空值等等。当我尝试使用此选项时，它会给出错误提示，如 java.lang.IllegalArgumentException：要求失败：无效行大小：18 而不是 17。
您好，有关该问题的更多详细信息，请查看以下链接：stackoverflow.com/q/51929246/10246547