如何通过 Spring Cloud 数据流中的处理器应用程序触发组合任务运行程序？

Question

我有一个要求，我必须触发组合任务运行器（其逻辑写在处理器中）。我怎样才能通过流来做到这一点？

要求： 我必须轮询一个特定的目录，只要该目录中存在 2 个文件，我的处理器将决定是否应该启动组合任务运行程序。如果是，则组合任务运行器将使用某些参数启动，并将一个一个地处理两个文件。

谁能帮我写下这个场景的流定义？

目前我正在尝试如下触发它：

stream create exmaple --definition "triggertask --triggertask.uri=file:///Users/batch/apps/timestamp-task-2.1.0.RELEASE.jar --trigger.fixed-delay=30 | trigger-task-processor | tasklaunchrequest-transform --graph='xyz-d1 && xyz-d2' --increment-instance-enabled=true --spring.datasource.url=... --composed-task-arguments='some arguments' | taskLauncher"

其中triggertask为触发任务源

trigger-task-processor 是具有触发事件业务逻辑的处理器）

tasklaunchrequest-transform 是一个处理器（组合任务运行器的自定义实现）

taskLauncher 是一个任务启动器本地水槽兔子

Answer 1

我相信您可以使用tasklauncher-dataflow sink 应用程序简化您的设计，该应用程序充当 SCDF 服务器的 REST 客户端并发出任务启动请求。您可以通过这种方式启动您的组合任务。

在你的情况下，你可以有这样的东西：

file | tasklauncher-dataflow

file 是开箱即用的应用程序，您可以根据需要对其进行自定义，以将输出发送到tasklauncher-dataflow 接收器。

你可以找到一些相关的参考资料如下：

• https://content.pivotal.io/blog/need-24x7-etl-then-move-to-cloud-native-file-ingest-with-spring-cloud-data-flow
• https://dataflow.spring.io/docs/recipes/file-ingest/sftp-to-jdbc/
• https://github.com/spring-cloud-stream-app-starters/tasklauncher-dataflow/tree/master/spring-cloud-starter-stream-sink-task-launcher-dataflow