SPARK：从 spark-glmnet 包执行线性/逻辑回归答案

【问题标题】：SPARK: Perforf linear/logistic regression from spark-glmnet packageSPARK：从 spark-glmnet 包执行线性/逻辑回归
【发布时间】：2015-12-09 13:12:04
【问题描述】：

我是 Spark 的新手，最近几周我正在学习其中实现的方法。这次我想使用spark-glmnet包中实现的功能：spark-glmnet。我最感兴趣的是运行logistic regression。

我下载了一个源文件并使用命令创建了一个胖JAR：

sbt assembly

该过程完成后，我将JAR 文件复制到服务器并运行Spark shell。

export HADOOP_CONF_DIR=/opt/etc-hadoop/;
/opt/spark-1.5.0-bin-hadoop2.4/bin/spark-shell \ 
--master yarn-client \
--num-executors 5 \
--executor-cores 6 \
--executor-memory 8g \
--jars /opt/spark-glmnet-assembly-1.5.jar,some_other_jars \ 
--driver-class-path /usr/share/hadoop-2.2.0/share/hadoop/common/lib/mysql-connector-java-5.1.30.jar

但我不知道如何在 Spark 中运行此包中的函数。例如，如何使用坐标下降执行逻辑回归？

【问题讨论】：

在你的命令中添加一个选项 " --class "

标签： scala apache-spark logistic-regression

【解决方案1】：

答案很简单：

 sc.addJar("path_to_my_jar")

【讨论】：