Hadoop 2.7、Spark、Hive、JasperReports、Sqoop - 架构

Question

首先，这不是一个寻求帮助以逐步部署以下组件的问题。我要问的是如何设计架构的建议。我打算做的是使用现有数据开发一个报告平台。以下是我通过研究收集的数据。

我有一个现有的 RDBMS，它有大量记录。所以我正在使用

• Scoop - 将数据从 RDBMS 提取到 Hadoop
• Hadoop - 存储平台
• Hive - 数据仓库
• Spark - 由于 Hive 更像是批处理，Hive 上的 Spark 将加快处理速度
• JasperReports - 生成报告。

我所知道的是部署了一个 Hadoop 2 集群，如下所示

• 192.168.X.A - 名称节点
• 192.168.X.B - 第二个名称节点
• 192.168.X.C - Slave1
• 192.168.X.D - Slave2
• 192.168.X.E - Slave3

我的问题是

• 我应该在哪个节点部署 Spark？ A 或 B，鉴于我想支持故障转移。这就是为什么我在 B 上配置了一个单独的名称节点。
• 是否应该在每个实例上部署 Spark？工作节点应该是谁？
• 我应该在哪个节点部署 Hive？有没有比 Hive 更好的替代品？
• 我应该如何连接 JasperReports？去哪里？使用 Hive 还是 Spark？

请告诉我一种合适的方式来设计架构？请提供详细的答案。

请注意，如果您能提供任何类似性质的技术指南或案例研究，那将非常有帮助。

Answer 1

你已经明白了，已经！我所有的答案都只是一般性意见，可能会根据数据、要执行的操作的风格而发生巨大变化。问题还暗示此类操作的数据和结果是关键任务，我假设如此。

Hive 上的 Spark 会加快速度

不一定正确。轶事证据，this post (by cloudera)，证明完全相反。实际上，反之亦然，即Hive on Spark。

我应该在哪个节点部署 Spark？ A 或 B，鉴于我想支持故障转移。这就是为什么我在 B 上配置了一个单独的名称节点。 我应该在每个实例上部署 Spark 吗？工作节点应该是谁？

绝对 - 在大多数情况下无论如何。设置A或B为master，其余都可以是worker节点。如果您不想在架构中使用 SPOF，请参阅 high availability section of spark documentation，这需要一些额外的工作。

有没有比 Hive 更好的替代品？

这个既是主观的又是特定于任务的。如果 SQL 查询感觉自然并且适合任务，还有 Cloudera 推广的 Impala，它声称执行速度比 Hive 快一个数量级。但在 Apache Hadoop 生态系统中有点陌生。使用 Spark——如果你能很好地输入一些 python 或 scala——你可以进行类似 SQL 的查询，同时仍然享受这些语言提供的表达能力。

我应该如何连接 JasperReports？去哪里？要 Hive 还是 Spark？

不知道这个。