增量学习 - 在 Spark 2.0 中为 ML 算法的先前模型设置初始权重或参数值

Question

我正在尝试为 Spark 2.x 中的机器学习（分类）算法设置初始权重或参数。不幸的是，除了 MultiLayerPerceptron 算法，没有其他算法提供设置初始权重/参数值的方法。

我正在尝试使用 spark 解决增量学习问题。在这里，我需要加载旧模型，用系统中的新数据重新训练旧模型。我该怎么做？

我怎样才能为其他算法做到这一点：

• 决策树
• 随机森林
• 支持向量机
• 逻辑回归

我需要试验多种算法，然后选择性能最好的一种。

Answer 1

我怎样才能为其他算法做到这一点：

• 决策树
• 随机森林

你不能。基于树的算法不太适合增量学习，因为它们着眼于数据的全局属性并且没有可用于引导过程的“初始权重或值”。

• 逻辑回归

您可以使用StreamingLogisticRegressionWithSGD，它完全实现了所需的过程，包括使用setInitialWeights 设置初始权重。

• 支持向量机

理论上它可以通过扩展StreamingLinearAlgorithm实现类似于流回归StreamingLogisticRegressionWithSGD或StreamingLinearRegressionWithSGD，但是没有内置这样的实现，因为org.apache.spark.mllib处于维护模式，所以赢了不是。