【问题标题】:Spark - Is scala really need to be installed to run "scala shell"Spark - 是否真的需要安装 scala 才能运行“scala shell”
【发布时间】:2020-07-29 07:17:36
【问题描述】:

小问题。 “scala runtime”(scala SDK)是否真的需要呈现或需要安装才能在“本地模式”下运行spark shell或spark程序

JVM 已经存在。

请分享您的意见

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    当你将spark安装到本地时,你可以找到jar。你可以简单地运行 spark-shell 而不需要 scala sdk。

    【讨论】:

    • 太棒了,顺便说一句,scala 2.11 Vs 2.12 是什么。我看到每个相应的 scala 都有不同的 spark 版本。拥有特定 Spark 版本的意义何在
    • Spark 2+ 直到 2.4.0 使用 scala 2.11,之后使用 scala 2.12。 Spark 支持并修复了用于 AFAIK 开发目的的选定 scala 版本。
    • 它与二进制兼容性有什么关系吗?
    • 2.10 在 Spark 2.3.0 中被弃用,2.11 在 3.0.0 中被弃用,2.12 是实时版本。当你用不同版本的scala编译时,在弃用之前使用低版本是可以的,但在弃用之后,spark会导致工作中的一些严重错误。
    【解决方案2】:

    默认情况下,Spark 有 Scala、Python 运行时。 Scala 将在 JVM 上运行。因此您无需创建单独的运行时。

    【讨论】:

      猜你喜欢
      • 2011-08-22
      • 1970-01-01
      • 1970-01-01
      • 2018-04-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-04-12
      相关资源
      最近更新 更多