如何通过 JAVA 在 Spark 中从 HBASE 读取/写入数据

【问题标题】：How to read/write data from HBASE in spark by JAVA如何通过 JAVA 在 Spark 中从 HBASE 读取/写入数据
【发布时间】：2017-07-13 13:28:31
【问题描述】：

我可以通过 HBASE 项目提供的 JAVA api 从 HBASE 读取/写入数据。但是这种方式读取操作会在spark驱动程序中处理，看起来不是一个聪明的方式。是否有一些火花方式可以从 HBASE 读取数据，以便可以在不同的工作人员中完成读取操作以提高性能？

【问题讨论】：

标签： java apache-spark hbase

【解决方案1】：

Is there some spark way to read data from HBASE

是的

您可以在 HBase 之上使用 Apache Phoenix。
Phoenix 在 HBase 之上提供了类似 SQL 的层。
可以使用SQLContext 在 Spark 中加载 HBase 表。
只需包含 hbase-phoenix 客户端 jar 和 spark-csv 数据块 jar

Spark 代码读取 Hbase 表

================================================ =================

sqlContext.read.format("org.apache.phoenix.spark")
.option("table","HBase_table_name")
.option("zkUrl","Master_node_DNS_name:2181")
.load()
.registerTempTable("tempTblName")

【讨论】：