Pyspark：如何在 Yarn 集群上运行作业时对多个文件使用 --files 标签答案

【问题标题】：Pyspark: How to use --files tag for multiple files while running job on Yarn clusterPyspark：如何在 Yarn 集群上运行作业时对多个文件使用 --files 标签
【发布时间】：2017-08-05 07:16:51
【问题描述】：

我是 Spark 的新手，并且使用 python 来使用 pyspark 编写作业。我想在纱线集群上运行我的脚本，并通过发送log4j.properties 来删除详细日志记录，以便使用--files 标签将日志记录级别设置为WARN。我有一个脚本使用的本地 csv 文件，我也需要包含它。如何使用--files 标签来包含这两个文件？

我正在使用以下命令：

/opt/spark/bin/spark-submit --master yarn --deploy-mode cluster --num-executors 50 --executor-cores 2 --executor-memory 2G --files /opt/spark/conf/log4j.properties ./list.csv ./read_parquet.py

但我收到以下错误： Error: Cannot load main class from JAR file:/opt/spark/conf/./list.csv `

【问题讨论】：

标签： python pyspark

【解决方案1】：

您可以通过文件路径以这样的字符串发送逗号分隔的文件：

--文件 "filepath1,filepath2,filepath3" \

为我工作！！

【讨论】：

【解决方案2】：

您可以删除“。”第二个文件的 / 前面...在这里我删除了它正在工作。

/opt/spark/bin/spark-submit --master yarn --deploy-mode cluster --num-executors 50 --executor-cores 2 --executor-memory 2G --files /opt/spark/conf/log4j.properties /list.csv  /read_parquet.py

【讨论】：