将 Kafka 偏移量存储在文件与 Hbase 中

Question

我正在开发一个 Spark-Kafka Streaming 程序，我需要在其中捕获 kafka 分区偏移量，以便处理故障情况。

大多数开发人员都使用 Hbase 作为偏移量的存储，但是如果我使用 hdfs 或本地磁盘上的文件来存储简单易行的偏移量会怎样？ 我试图避免使用 Nosql 来存储偏移量。

我能知道使用文件而不是 hbase 来存储偏移量的优缺点是什么吗？

Answer 1

只需使用卡夫卡。开箱即用的 Apache Kafka stores consumer offsets within Kafka itself。

Answer 2

我也有类似的用例，我更喜欢 hbase，原因如下-

1. 易于检索，它以 rowkey 的排序顺序存储数据。当偏移量属于不同的数据组时，它很有帮助。

2. 我必须为一组数据捕获开始和结束偏移量，其中捕获开始很容易但结束偏移量..它虽然在流模式下捕获。所以我不想只打开文件更新结束偏移并关闭它。我也想过 S3，但 S3 对象是不可变的。

Zookeeper 也是一种选择。 希望对您有所帮助。