POC：Cloudera Impala + HDFS + HBase 在单独的集群上

Question

我正在处理大数据系统架构。我知道 Impala 可以对存储在 HDFS/HBase 集群中的数据执行查询。

但是，如果我有一个 HDFS 集群和另一个用于保存 HBase 数据的集群，该怎么办。 Impala 是否能够执行合并来自两个集群的数据的查询？

Answer 1

首先 HBase 将其数据存储在 HDFS 中。所以我确信你的 HBase 集群上有 HDFS。

当 impala 向 HDFS 读取/写入数据时，它直接访问操作系统级别的块。这就是为什么黑斑羚在这方面如此之快。当 impala 正在读取 HBase 数据时，它正在成为使用其 api 的 HBase 客户端，而不是像其他方式那样直接从磁盘读取 HBase 数据。

因此，HBase 不必安装在与 Impala 相同的集群上。但是，集群需要能够相互访问。

Answer 2

我认为您还需要在 Hbase 集群上安装 Impala。在两个集群之间连接数据可能不是一个好主意，因为您会遇到延迟问题。