spark提交命令中命令行参数的字符数是否有限制？答案

【问题标题】：Is there any limit of characters in command line arguments in spark submit command?spark提交命令中命令行参数的字符数是否有限制？
【发布时间】：2015-07-25 16:21:31
【问题描述】：

我也想知道在 spark submit 命令的参数中是否有我们不能使用的特殊字符？

我也想知道我们能否将整个嵌套的 Json 字符串传递给 spark 提交命令中的参数？

另一个问题是如何使用 java 代码（来自另一个程序）运行 spark 程序？

那么，我们是否必须在集群（安装了 spark 的 linux 机器）上运行我们的其他程序才能运行我的 spark 程序？

我对这件事太困惑了；请提出建议。

【问题讨论】：

请提出两个单独的问题，而不是两个问题。

标签： java hadoop apache-spark hdfs

【解决方案1】：

第二个问题：还有一个问题是如何使用 java 代码（来自另一个程序）运行 spark 程序？ 在你的 java 程序中，如果你有一个 Maven 项目，你可以添加一个 Maven 依赖项。 Spark 工件托管在 Maven Central 中。您可以在 pom.xml 中添加 Maven 依赖项

<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-core_2.10</artifactId>
   <version>1.3.1</version>
</dependency>

如果没有，您可以选择下载 jar 文件并将其作为外部库添加到您的 java 代码中。在任何这些选项之后，您将能够在您的 java 程序中编写 java spark 代码。您可以在此处找到依赖项和 jar 文件：http://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10/1.4.1 是的，您需要一台装有 Spark 的机器来运行您的代码。为了运行它，你可以从你的程序中创建一个可执行的 jar 并运行它：

$: spark/bin/spark-submit --class com.your.MainClass --master spark://your_master_node:7077 your_jar_file.jar

祝你好运！

【讨论】：

感谢您的回答，但这是我们使用 spark 编写 java 程序时所做的，但我的问题是如何从另一个 java 程序运行单独的 spark(with java) 程序？我已经在这里单独发布了：stackoverflow.com/questions/31582892/…