使用 Pyspark 训练非线性 SVC 模型

【问题标题】：Train a non Linear SVC model using Pyspark使用 Pyspark 训练非线性 SVC 模型
【发布时间】：2018-10-19 10:11:00
【问题描述】：

有没有办法使用 Pyspark 训练非线性 SVC 模型？我试过了：

 from sklearn.svm import SVC
 svc = SVC(kernel="rbf", random_state=0, gamma=1, C=1)
 model = svc.fit(features, target)

（features和target是转换成List的两个数据框）。问题是我想用 Pyspark 中的一个组件进行训练以加快我的训练速度

【问题讨论】：

标签： machine-learning pyspark bigdata svm apache-spark-mllib

【解决方案1】：

根据今天的日期，Pyspark 中（尚未）提供非线性 SVC： https://issues.apache.org/jira/browse/SPARK-4638 如果您查看 Spark 社区成员的最后一条评论：

Spark 中的支持向量机的非线性内核会很棒。主要障碍是：内核化的 SVM 训练很难分发。幼稚的方法需要大量的沟通。为了让这个功能进入 Spark，我们需要做适当的背景研究并写出一个好的设计。可以说其他 ML 算法的需求量更大，并且仍需要改进（截至本评论发布之日）。在我的脑海中，树合奏首先是最重要的。

【讨论】：