Pentaho-kettle：需要根据用户输入动态创建 ETL 作业答案

【问题标题】：Pentaho-kettle: Need to create ETL Jobs dynamically based on user inputPentaho-kettle：需要根据用户输入动态创建 ETL 作业
【发布时间】：2011-09-30 10:41:19
【问题描述】：

在我的应用程序中，用户可以指定他们文件的格式。我们根据用户输入动态创建 SSIS 包。

http://lakshmik.blogspot.com/2005/05...eate-ssis.html

动态创建的 SSIS 包用于处理用户的文件。

我们要针对此要求评估 Pentaho-Kettle。 Kettle 是否可以根据用户的输入动态创建 ETL 作业？

如果不是 Pentaho，有没有 Java ETL 工具可以用来动态创建 ETL 作业？

【问题讨论】：

标签： dynamic ssis etl pentaho kettle

【解决方案1】：

我不知道其他人，但这在 Kettle 中传统上是相当棘手的，但人们以各种方式做到了。

最好的选择是（全新的）注入步骤，它可以让你用元数据做一些非常聪明的事情——但它只适用于一些基本步骤。我认为它会做你想做的事，请在此处阅读 Matt Casters（PDI 创造者和上帝）博客：

http://www.ibridge.be/?s=inject&submit=Go

如果这不起作用；那么您的其他选择是沿着通用字段名称路线（讨厌）或动态生成转换。这比听上去容易 - 但是对于 ETL 工具，您需要比平时更多地参与 Java 方面。

【讨论】：

【解决方案2】：

这是可能的，而且不是很难。

您可以使用 Kettle API 动态创建可以执行 Kettle 所做任何事情的转换。 GUI 设计人员使用 API 创建转换，因此您可以使用 GUI 执行的任何操作都可以通过 API 执行。

如果您查看“测试”源代码树，您会发现很多关于如何动态创建转换的示例。

【讨论】：