Spark Cassandra编写Dataframe，插入过程中如何查找数据库中已存在哪些键

Question

我编写了以下 JAVA 方法，通过 Apache Spark 将多个 POJO 的数据持久保存到 Apache Cassandra 数据库。

这似乎工作正常，但是 Spark 没有提供有关记录是已插入（cassandra 中不存在密钥）还是已更新（数据库中已存在密钥）的任何信息。

有没有一种成本最低的方法（我想避免在数据框中加载表的内容并检查重复键），以便在插入时找出哪些记录已经存在（有重复键）在数据库中？

具体代码如下：

@Service
public class WriteDB {

    @Autowired
    private SparkSession sparkSession;

    Logger LOG = LoggerFactory.getLogger(WriteDB.class);

    public <T> void uploadData(List<T> objects, Class<T> clazz, String keyspaceName, String tableName) {

        LOG.info("Number of records to be committed to database: " + objects.size());

        //Create dataset from entity object
        Dataset<Row> df = sparkSession.createDataFrame(objects, clazz);


        //Write data from spark dataframe to cassandra schema
        df.write().mode(SaveMode.Append).format("org.apache.spark.sql.cassandra").options(new HashMap<String, String>() {{
            put("keyspace", keyspaceName);
            put("table", tableName);
        }}).save();

        LOG.info("Records Commited");
    }
}

Answer 1

在 Cassandra 中，一切都是 upsert - 插入和更新之间没有区别。 Cassandra 在插入或更新时不会检查数据是否存在（LWT 除外）——它只是添加数据，而之前的副本在压缩期间会被删除。

完成任务的唯一方法是从表中加载数据 - 使用 Dataframe API，它将通过将整个表读入 Dataframe 然后加入，或在 RDD API 中使用 joinWithCassandra 或 @ 在 Spark 级别上完成987654323@（见doc）。