Spark Scala 脚本执行命令答案

【问题标题】：Spark Scala script Execution CommandSpark Scala 脚本执行命令
【发布时间】：2015-09-07 10:45:54
【问题描述】：

我是 Spark 的新手，我有这样的 Spark 脚本

import org.apache.spark.SparkContext

 /**

 * Loading sales csv using DataFrame API

 */

  object CsvDataInput {
  def main(args: Array[String]) {


   val sc = new SparkContext(args(0), "Csv loading example")
   val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
   val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

   df.printSchema()
   df.registerTempTable("sales")

   val aggDF = sqlContext.sql("select sum(amt),code from sales where tran='CHG' group by amt,code")

    println(aggDF.collectAsList())  
   }

 }

如何在 cloudera 中执行该程序我必须使用什么命令

我使用了这个命令

./bin/spark-shell --class classname --master local "Scriptpath" 输入路径

但我没有得到输出。

【问题讨论】：

标签： java hadoop apache-spark apache-spark-sql

【解决方案1】：

您可以使用 spark-submit。例如

./bin/spark-submit --class classname --master local[*] "Scriptpath" inputpath

【讨论】：

当我执行这个程序时，我得到了错误，比如 Class not fount execption what I have to do 我错过了哪里
您的示例中的 "inputpath" 需要指定 jar 文件名。类名必须包含包前缀。运行“jar tf your.jar”以确保您的课程实际上在您的 jar 中。
但我想执行脚本而不是 jar。此外，当我在复制此程序时如何创建 jar 时，由于这是一个 Scala 程序，我收到错误消息。那么如何创建jar文件
那你就不能“sbt run”吗？
开始使用简单的构建工具 - scala-sbt.org/release/tutorial/Setup.html