【发布时间】:2022-01-08 07:13:14
【问题描述】:
我正在尝试使用 sstableloader 从快照将数据从 Cassandra 迁移到 ScyllaDB,并且某些表中的数据在加载时没有任何错误,但是在使用 PySpark 验证计数时,它在 ScyllaDB 中提供的行数少于在 Cassandra 中的行数。需要帮助!
【问题讨论】:
标签: cql cassandra-3.0 cqlsh scylla
我正在尝试使用 sstableloader 从快照将数据从 Cassandra 迁移到 ScyllaDB,并且某些表中的数据在加载时没有任何错误,但是在使用 PySpark 验证计数时,它在 ScyllaDB 中提供的行数少于在 Cassandra 中的行数。需要帮助!
【问题讨论】:
标签: cql cassandra-3.0 cqlsh scylla
我在 ScyllaDB 工作
有两种工具可用于帮助找出差异:
https://github.com/scylladb/scylla-migrate (https://github.com/scylladb/scylla-migrate/blob/master/docs/scylla-migrate-user-guide.md) 可以使用check 模式查找缺失的行。
https://github.com/scylladb/scylla-migrator 是一种从活动 CQL 集群迁移到另一个集群的工具(Cassandra --> Scylla),它也支持验证(https://github.com/scylladb/scylla-migrator#running-the-validator)。有一个关于使用这个工具的博客系列https://www.scylladb.com/2019/02/07/moving-from-cassandra-to-scylla-via-apache-spark-scylla-migrator/。
如果确实缺少行,请在https://github.com/scylladb/scylla/issues 上发布错误。
【讨论】:
通过在 Cassandra 键空间上使用 nodetool 修复解决了这个问题,拍摄快照并使用 sstableloader 将快照加载到 ScyllaDB。
【讨论】: