【问题标题】:spark stand alone cluster jar not found未找到火花独立集群 jar
【发布时间】:2017-02-09 15:27:20
【问题描述】:

我有一个带有一个主节点和 2 个工作节点的 spark 独立集群。 (希望我没有弄错条款)。都是centos 我有一个包含文本文件的共享文件夹和一个用于所有结果文件的共享文件夹。我没有使用hdfs ... 我还有一个包含 wordcount.jar 文件的主文件夹... 我想对共享文件夹中的文件进行字数统计... 当我使用指向 master 上的 wordcount.jar 的部署模式客户端运行 spark-submit 时,一切正常,但是当我使用部署模式集群时,我得到一个错误 wordcount.jar 未找到... 为什么?我如何解决它? 我虽然jar文件分布在集群中...... 谢谢

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    在集群模式下执行时包括驱动程序类路径。

    --driver-class-path $JARS_COLON_SEP \ 
    

    【讨论】:

    • 我已经包含了类路径..没有解决问题
    猜你喜欢
    • 2019-08-22
    • 2017-05-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-05-04
    • 2018-06-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多