如何在 Scala 中将数据框插入 Cassandra

Question

我有一个如下所示的数据框，并希望将此数据插入到 cassandra 表中

+---------+------+-----------+
| name    |  id  |  city     |
+---------+------+-----------+
| sam     | 123  |  Atlanta  |
| John    | 456  |  Texas    |
+---------+------+-----------+

我正在使用下面的代码，但它只插入最后一行。

df.write.format("org.apache.spark.sql.cassandra")
    .options(Map("table" -> "tablename", "keyspace" -> "keyspace"))
    .mode(saveMode = "Append").save(`)

如何在 Scala 中将数据框插入 Cassandra？

Answer 1

您提供的代码应将所有行插入 Cassandra。有几个原因可能不会。

1. 这实际上是所有的数据，df 只是出于某种原因 包含一行。

2. 有多个行但它们共享相同的分区键， 这意味着后续写入将覆盖初始写入。

3. 抛出异常，这在日志中应该很明显。