是否有任何与 Rails 模型集成的 ETL 工具？答案

【问题标题】：Are there any ETL tools that integrate with Rails models?是否有任何与 Rails 模型集成的 ETL 工具？
【发布时间】：2012-02-23 21:55:17
【问题描述】：

我正在研究将平面文件导入数据库并随后导出 xml 文件的 ETL 工具。

许多工具支持生成代码以在您的应用程序中使用；但是，我还没有发现任何支持在您的应用程序中使用代码。我们的模型很复杂（关系、验证、多态关联、回调等）。

有哪些工具可以重用现有代码？还是我被困在 ETL 工具中重新创建（和维护）我的模型？

注意：我对 ETL（与批量插入或活动记录导入相反）的要求是转换。我们从 200 多个不同来源以各种格式、完整性和清洁度接收数据。此外，对于将定义转换的技术含量较低的用户来说，包含最多的“设计师”更为现实。

【问题讨论】：

变换逻辑在哪里？你想要它在哪里？
视情况而定。我们已经在应用程序中内置了一堆，但还有其他一些需要在每个源的基础上完成。我们在谈论汽车数据......我们的应用程序知道 99-01、1999-01、1999-2001 都是同一个东西，而 HND、HNDA、HONDA 和 HONDA/ACURA 都是同一个东西。这些只是冰山一角。我们的每个来源都有不同的格式。一个可以合并像 99-01 这样的年份，另一个将它们放在不同的列中。有些人会将多个品牌（HONDA、BMW）放在一行中，而另一些则使用 2 个。同样，这只是冰山一角，但这些是 ETL 工具应该处理的。

【解决方案1】：

ActiveWarehouse 可能很有用。最初的搜索结果使项目感觉有点陈旧和不复存在。一点点挖掘在 GitHub 上产生了一个相当活跃的、有据可查的项目分支：https://github.com/activewarehouse/activewarehouse-etl

【讨论】：

【解决方案2】：

自己写。 ETL 是一个非常简单的过程，ruby 提供了足够的反射支持来用一些简单的代码来处理这个。 ETL 工具在这里并没有真正的帮助，只是生成 dotty 文件来显示数据源、流程和转换。

我在 smalltalk 中做了同样的数据转换。在那里，我使用了 MOOSE 再工程工具套件中的 glamor 和 mondrian 来提供更多可见性。

【讨论】：

【解决方案3】：

模块化，您希望 Rails 应用程序和 ETL 从同一个地方询问“HND”的含义。为此设置一个 API。

【讨论】：