【问题标题】:Java framework for multithreaded mass import用于多线程批量导入的 Java 框架
【发布时间】:2015-01-04 15:28:35
【问题描述】:

对于一个数据迁移项目(10mio 行/天),我需要一个能够处理数据传输的多线程处理的 Java 框架。 流程应该是可调度的、可监控的和动态可配置的。

我阅读了几篇关于如何通过自己的实现集合来满足需求的文章,但我认为我可以避免通过使用现有框架来重新发明轮子。 哪个框架是“最先进的”? 我阅读了有关 Sprint 集成的信息,但我的数据源是数据库,我看不到事件驱动方法的机会。

尽管这听起来像是一个 ETL 工具,但使用 ETL 是没有选择的。

【问题讨论】:

  • 这个问题在这里看起来很离题,但我建议使用 Apache Camel。您将能够在批处理记录处理或 jdbc 结果集行流式处理之间进行选择,并应用您转换和保存数据所需的任何 EIP。它还具有良好的 jmx 和 hawtio 控制台监控功能。
  • 离题?哦,为什么?无论如何,您的评论指向我的目标方向。在查看 Apache Camel 时,我喜欢一个非常好的博客文章 kai-waehner.de/blog/2012/01/10/…,它比较了集成模式领域的三个“开源大玩家”。

标签: java multithreading frameworks data-migration


【解决方案1】:

好的,Apache Camel 就是我要找的那个。 请查看What exactly is Apache Camel? 了解更多详情。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-10-12
    • 1970-01-01
    • 2010-11-23
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多