Hadoop 是如何实际接受 MR 作业和输入数据的？

Question

我可以在 Hadoop 上找到的所有介绍性教程和文档都有简单/人为（字数统计风格）的示例，其中每个示例都由以下人员提交给 MR：

1. SSH 进入 JobTracker 节点
2. 确保包含 MR 作业的 JAR 文件位于 HDFS 上
3. 运行 bin/hadoop jar share/hadoop/mapreduce/my-map-reduce.jar <someArgs> 形式的 HDFS 命令，它实际上运行 Hadoop/MR
4. 从命令行读取 MR 结果或打开包含结果的文本文件

尽管这些示例非常适合向新手展示如何使用 Hadoop，但它并没有向我展示 Java 代码如何在 API 级别实际与 Hadoop/MR 集成。我猜我有点期待：

1. Hadoop 公开了某种客户端访问/API，用于向集群提交 MR 作业
2. 作业完成后，一些异步机制（回调、侦听器等）会将结果报告回客户端

所以，类似的东西（Groovy 伪代码）：

class Driver {
    static void main(String[] args) {
        new Driver().run(args)
    }

    void run(String[] args) {
        MapReduceJob myBigDataComputation = new SolveTheMeaningOfLifeJob(convertToHadoopInputs(args), new MapReduceCallback() {
            @Override
            void onResult() {
                // Now that you know the meaning of life, do nothing.
            }
        })

        HadoopClusterClient hadoopClient = new HadoopClusterClient("http://my-hadoop.example.com/jobtracker")
        hadoopClient.submit(myBigDataComputation)
    }
}

所以我问：当然是所有介绍性教程中的简单示例，您可以通过 SSH 连接到节点并从 CLI 运行 Hadoop，然后打开文本文件以查看其结果……当然这不是大数据的方式公司实际上与 Hadoop 集成。当然，类似于我上面的伪代码 sn-p 的 something 用于启动 MR 作业并获取其结果。 这是什么？

Answer 1

总之，可以使用 Oozie 调度程序启动 MR 作业。但在此之前，您编写了一个 map reduce 作业。它具有作为工作起点的驱动程序类。您在 Driver 类中提供作业运行所需的所有信息：如 map 输入、mapper 类、如果有分区器、配置详细信息和 reducer 详细信息。

一旦这些存在于 jar 文件中，并且您使用 CLI 启动上述工作（hadoop jar）（实际上 oozie 是这样做的），其余的由 Hadoop 生态系统处理。希望我回答了你的问题