Apache Spark/Scala 批量插入/更新到 HBASE

Question

下面是我的场景：

1. 最初使用 Sqoop 将数据加载到 HBASE（已完成）
2. 现在，我将每天获得一批数据（大约 600000 条记录），这是新数据（用于将新记录插入 HBASE）和旧数据（用于更新 HBASE 现有记录）的组合。现在我的问题是：

如何使用 Spark/scala 到 Hbase 表执行此操作。

非常感谢您早日回复。

谢谢 苏维克

Answer 1

我建议您阅读this question 的答案以了解概况。

在my answer 那里，我提到了几个你可以使用的选项：

• hbase-spark，一个直接在 HBase 仓库中可用的模块
• Spark-on-HBase 来自 Hortonworks

由于您使用的是 Spark 1.6.1，因此您可以使用其中的任何一个。在 hbase-spark 中使用 DataFrame 的示例可以在 here 找到，而 Spark-on-HBase 的类似示例可以在 here 找到。