在 MapReduce 中组合 SVM 分类器

Question

我的任务是使用 scikit-learn、python 和 mapreduce 解决情感分类问题。我需要使用 mapreduce 来并行化项目，从而创建多个 SVM 分类器。然后我应该将分类器“平均”在一起，但我不确定它是如何工作的，或者它是否可能。分类的结果应该是一个分类器，经过训练的平均分类器。

我已经使用 scikit-learn SVM 线性内核编写了代码，它可以工作，但现在我需要将它带入 map-reduce 并行化上下文中，我什至不知道如何开始。

有什么建议吗？

Answer 1

1. 确保在集群中的每个节点上都安装了所有必需的库（scikit-learn、NumPy、pandas）。

2. 您的映射器将处理每一行输入，即您的训练行并发出一个键，该键基本上代表您将训练分类器的折叠。

3. 您的 reducer 将收集每个折叠的行，然后在该折叠的所有行上运行 sklearn 分类器。

4. 然后您可以平均每个折叠的结果。