使用 Composer Dataflow 运算符将类路径 jar 与主 jar 一起传递答案

【问题标题】：Using Composer Dataflow operator to pass classpath jar with main jar使用 Composer Dataflow 运算符将类路径 jar 与主 jar 一起传递
【发布时间】：2020-09-21 14:49:24
【问题描述】：

我想使用 composer dataflow Operator 来编排数据流作业。我的数据流 jar 需要两个无法添加为 maven 依赖项的附加 jar。目前，我正在使用以下命令手动运行我的工作：

java -cp Mainprocess.jar com.sample.class com.auth.dependency --tmp --staging

当我在云 shell 中运行它时，我在 PWD 中有依赖项 jar。是否可以使用 Dataflow Operator 传递其他类路径 jar？

【问题讨论】：

标签： java google-cloud-dataflow google-cloud-composer

【解决方案1】：

默认情况下，Dataflow 暂存 CLASSPATH 中的所有文件。

您可以通过指定 filesToStage 管道选项并手动指定应暂存的 jar 集来覆盖此设置。

【讨论】：

谢谢。我认为使用相同但我有一个疑问，我是否需要提供所有 maven 依赖 jar 以及这两个 jar，因为我正在覆盖 filesToStage ？