Mapreduce、HDFS 输入、Hive 表输出

Question

我想编写一个 mapreduce 作业来执行以下操作：

1. 读取 HDFS 文件。
2. 验证表（Hive/Hbase）中已存在读取记录。
3. 如果存在，则执行更新操作。如果不存在，则将数据写入/插入表（Hive/Hbase）。

上述过程将每天重复。

问题：

1. 是否可以使用 Hive 实现上述逻辑？
2. 如何写MR作业？有没有实现上述逻辑的例子？

Answer 1

有很多方法可以做你想做的事。 是的，您可以在 hive 中完成所有操作。 Hive 有一些允许您访问 Hbase 的 SerDes，因此您也可以从 hive 使用它。

您的 MR 工作仅由执行该工作的映射器组成；不管怎样，既然hive可以做到，我觉得写个MR工作不是个好主意。 也许构建您的 MR 工作的快速方法是使用实​​用程序流，您可以使用任何您喜欢的语言编写映射器。

如果这两种情况，使用 hive 或小型 MR 作业，您可以将作业置于 oozie 下并使其每天运行。