在 Spark 中从 R 运行 PMML

Question

我在 R 中创建了一个线性回归模型，并将其导出到 PMML v4.3 中。我将如何在 Spark 中运行它？我是 Spark 的新手，看不到任何运行 PMML 文件的示例代码。我所看到的只是在 Spark MLLib 中导出 PMML 代码。

我假设会有一个函数，其中您的输入参数将是数据集和用作训练模型的 PMML 文件？

Answer 1

您可以使用PMML4S-Spark 在 Spark 中运行 PMML，它就像一个 SparkML 转换器。例如：

import org.pmml4s.spark.ScoreModel

val model = ScoreModel.fromFile("the/pmml/model/path")
val scoreDf = model.transform(df)

顺便说一句，它是免费的。

Answer 2

JPMML-Evaluator-Spark 库正好为此目的提供了一个 Apache Spark ML 转换器类 org.jpmml.evaluator.spark.PMMLTransformer。