【问题标题】:Advantage of using Spring cloud data flow instead of spring batch使用 Spring Cloud 数据流代替 Spring Batch 的优势
【发布时间】:2017-05-08 13:52:07
【问题描述】:

我们需要编写一个应用程序来每天读取一个平面文件并写入数据库表。我们计划使用 Spring Batch 来完成这项工作。

我们正在寻找的限制和补充是

1.应用程序本身将在单个 VM 中运行。它永远不会在任何时候部署在多个 VM 中。

2.我们将来可能会有其他文件遵循相同的模式。

在这种情况下,与 Spring Batch 相比,使用 Spring Data Flow 是否提供任何功能或优势?

【问题讨论】:

  • 我也在看 Batch,现在考虑改用 SCDF...你最终使用了哪个?有什么反馈吗?

标签: spring spring-batch spring-cloud-dataflow spring-cloud-task


【解决方案1】:

我试图在SO thread 中总结 Spring Cloud Data Flow (SCDF) 提供的一般特性功能和简化 - 也许这可能有用。

在你的情况下,

应用程序本身将在单个 VM 中运行。它永远不会在任何时候部署在多个 VM 中。

不确定这是一个问题还是一个要求。我假设您想知道如何扩展您的批处理作业操作。

如果您有一个remote partitioned 批处理作业,取决于您配置的workers 的数量,它们中的每一个都在一个单独的进程/容器中运行,并且您的批处理中定义了master 步骤-作业协调工作人员和数据分区。这将是并行操作的一个示例 - 这是一个 sample

我们将来可能会有其他文件遵循相同的模式

太好了。在 SCDF 中定义和注册批处理作业后,您可以随时启动/重新启动它。您将使用 SCDF 的 REST-API、Shell 或 Dashboard 来执行此操作。

根据您运行 SCDF + 批处理作业的运行时平台,您可以利用特定于平台的调度程序通过 SCDF 中公开的 REST-API 安排批处理作业。

【讨论】:

    猜你喜欢
    • 2019-10-17
    • 2018-10-24
    • 1970-01-01
    • 2018-05-27
    • 2021-05-12
    • 1970-01-01
    • 1970-01-01
    • 2021-10-20
    • 1970-01-01
    相关资源
    最近更新 更多