使用 OSB 代理处理大数据答案

【问题标题】：Handling Big Data with OSB Proxy使用 OSB 代理处理大数据
【发布时间】：2017-09-21 09:38:06
【问题描述】：

我创建了一个 OSB 代理服务（消息服务），它使用 MFL 文件加载数据。

数据格式为：

1/1/2007;00:11:00;2.500;0.000;242.880;10.200;0.000;0.000;0.000;
1/1/2007;00:12:00;2.494;0.000;242.570;10.200;0.000;0.000;0.000;

所有数据记录为：2075259

文件（.txt 或 .data）的总大小为：130MB。

处理所有这些数据以插入 OSB 代理并将所有数据转换为一个简单的 xml 文件的最佳方法是什么？

我已经用小规模的记录（5000）进行了测试，它按预期工作，但我应该如何在代理中插入所有这些数据？

MFL 转换是一个有效的想法，或者我应该创建一个 FileAdapter 代理来接收来自 dbtable 的数据？

请多多指教

提前谢谢你。

【问题讨论】：

您可以使用声明检查模式：enterpriseintegrationpatterns.com/patterns/messaging/…
我的主要问题是我想一次获取所有数据，并将其转换为 xml，没有任何模式。只是将所有数据传递给一种 xml 格式。将在一个组列表中。每行数据到一个组 xml 列表的一部分。

【解决方案1】：

ESB 在以 KB 而非 MB 的顺序处理消息方面是有效的，尽管这是非常主观的，并且很大程度上取决于并发请求的数量、每秒事务数、硬件大小等。正如 Trent 在评论中指出的那样，您可以实现 claim check pattern 并将文件转换委托给外部实用程序，例如 perl 或类似工具。

【讨论】：