【发布时间】:2020-04-06 20:20:30
【问题描述】:
我检查了 Spark MLib,其中包含有限的分类算法。 是否可以将 Weka jar 文件添加到 spark 并在 Spark worker 上使用其分类算法。 我知道做这项工作没有任何并行化好处,但我很想知道我是否可以这样做。
【问题讨论】:
标签: apache-spark bigdata
我检查了 Spark MLib,其中包含有限的分类算法。 是否可以将 Weka jar 文件添加到 spark 并在 Spark worker 上使用其分类算法。 我知道做这项工作没有任何并行化好处,但我很想知道我是否可以这样做。
【问题讨论】:
标签: apache-spark bigdata
哈米德雷扎,
您不能真正直接使用 weka jar 来分发您的学习算法。它们的实现与分布式系统不兼容。
尽管如此,有一个名为 DistributedWekaSparkDev 的特定项目,但我还没有尝试过。
您可以在这里了解更多信息:http://markahall.blogspot.com/2017/07/integrating-spark-mllib-into-weka.html
【讨论】: