从 HBase 批量删除记录 - 如何将 RDD 转换为 Array[Byte]？

Question

我有一个要从 HBase 批量删除的对象的 RDD。在阅读了 HBase 文档和示例后，我想出了以下代码：

hc.bulkDelete[Array[Byte]](salesObjects, TableName.valueOf("salesInfo"),
  putRecord => new Delete(putRecord), 4)

但据我了解，salesObjects 必须转换为 Array[Byte]。 由于salesObjects 是RDD[Sale]，如何正确将其转换为Array[Byte]？

我尝试过Bytes.toBytes(salesObjects)，但该方法不接受RDD[Sale] 作为参数。销售是一个复杂的对象，因此将每个字段解析为字节是有问题的。
目前我已经将RDD[Sale] 转换为val salesList: List[Sale] = salesObjects.collect().toList，但目前仍坚持下一步该从哪里开始。

Answer 1

我从未使用过这种方法，但我会尽力提供帮助：

• 这些方法接受任何类型的 RDD T:https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/HBaseContext.scala#L290 ==> 所以你应该可以在你的RDD[Sale] 上使用它
• bulkDelete 需要一个函数将您的 Sale 对象转换为 HBase 的 Delete 对象 (https://hbase.apache.org/apidocs/org/apache/hadoop/hbase/client/Delete.html)
• Delete 对象表示要删除的行。您可以在此处获取删除对象初始化的示例：https://www.tutorialspoint.com/hbase/hbase_delete_data.htm
• 根据您要删除行的内容和方式，您应该将Sales 的各个部分转换为一个字节。比如你想按行键删除数据，你应该把它提取出来放到Delete对象中

在我的理解中bulkDelete 方法将累积batchSize 数量的 Delete 对象并立即将它们发送到 HBase。否则，您能否显示一些代码以更具体地了解您要做什么？

val salesList: List[Sale] = salesObjects.collect().toList 不是一个好主意，因为它会将所有数据都带入您的驱动程序。可能会导致 OOM 问题。