【问题标题】:mahout without hadoop but other MR implementation没有 hadoop 但其他 MR 实现的 mahout
【发布时间】:2025-11-29 03:25:01
【问题描述】:

在 Mahout 中用不同的 map-reduce 实现(例如,内存中的 map-reduce 实现)替换 hadoop 是否容易? Mahout 并行 ML 实现是否与 Hadoop 紧密耦合且不可替代?

【问题讨论】:

    标签: hadoop mahout in-memory


    【解决方案1】:

    (用 Java 命名另一个 MapReduce 实现?)不,它与 Hadoop 紧密绑定。但是,Hadoop 可以在本地运行。在内存中不使用磁盘?这听起来甚至不是分布式的,那么为什么要使用 MapReduce?并非所有 Mahout 都使用 Hadoop。这真的是你所追求的吗?

    【讨论】:

    • 内存是如何不分布的?只需谷歌搜索 MPI 或内存分布式数据库。
    • 分布式,对我来说,意味着多台机器。对我来说,内存意味着为所有工作人员使用一个共享内存。可以分发,但这很奇特。我认为这不是 OP 的意思。