【发布时间】:2015-01-04 15:28:35
【问题描述】:
对于一个数据迁移项目(10mio 行/天),我需要一个能够处理数据传输的多线程处理的 Java 框架。 流程应该是可调度的、可监控的和动态可配置的。
我阅读了几篇关于如何通过自己的实现集合来满足需求的文章,但我认为我可以避免通过使用现有框架来重新发明轮子。 哪个框架是“最先进的”? 我阅读了有关 Sprint 集成的信息,但我的数据源是数据库,我看不到事件驱动方法的机会。
尽管这听起来像是一个 ETL 工具,但使用 ETL 是没有选择的。
【问题讨论】:
-
这个问题在这里看起来很离题,但我建议使用 Apache Camel。您将能够在批处理记录处理或 jdbc 结果集行流式处理之间进行选择,并应用您转换和保存数据所需的任何 EIP。它还具有良好的 jmx 和 hawtio 控制台监控功能。
-
离题?哦,为什么?无论如何,您的评论指向我的目标方向。在查看 Apache Camel 时,我喜欢一个非常好的博客文章 kai-waehner.de/blog/2012/01/10/…,它比较了集成模式领域的三个“开源大玩家”。
标签: java multithreading frameworks data-migration