【问题标题】:Data Load patterns using PDI使用 PDI 的数据加载模式
【发布时间】:2015-01-12 15:49:04
【问题描述】:

我需要构建通用工作流解决方案来满足不同类型的数据负载。 喜欢 a)从平面文件到平面文件-(可以是固定宽度文件或分隔或excel文件) b)从平面文件到数据库-(可以是任何数据库或任何文件类型,就像以前一样 c) 从数据库到数据库

可以通过设置基于 Web 的 GUI 来配置上述元数据。

元数据: a) 文件类型 b) 列 c)过滤逻辑 d)如果是条件则查找 e)加载类型:基于主键的插入、更新或UPSERT f) 数据库类型 g) 数据库的 JNDI h) 业务规则——在记录级别或汇总级别。 ....

最近,我观看了视频“https://skillsmatter.com/skillscasts/5115-how-amia-used-pentaho”,非常相信可以使用 PDI 以最少的编码创建上述工作流程。

有人能帮忙提供示例以达到同样的效果吗?

问候, 迪凯什·沙阿。

【问题讨论】:

  • 我可以确认可以做到。我们构建了一个元数据驱动系统,它从任何 pdi 数据源读取数据并将数据写入 hadoop。添加新提要纯粹是数据库中的元数据,不会更改转换。
  • 感谢 Codek。如果可能的话,如果您能提供一个工作示例,将不胜感激?
  • 对不起,没有;这是一个庞大的工程。我没说这很容易!但绝对可以做到。
  • 感谢 codek 的回复。任何提示或线索将不胜感激。

标签: design-patterns pentaho etl kettle pdi


【解决方案1】:

Pentaho 是一个元数据驱动的工具。我相信您可以构建您正在寻找的解决方案。 PDI 或水壶为您提供各种步骤,如“设置变量”和“获取变量”。查看Dynamic naming of excel sheets using pentaho kettle。 还要检查Pentaho wiki

同样在转换设置中,您会发现添加参数的选项。检查下面的图片添加参数:

您需要从 UI 中做的是通过添加参数动态地将值传递给 Kettle,并使用 get 和 set 变量来执行其余的业务逻辑。

希望这会有所帮助:)。如果需要,我可以为您提供示例解决方案。

【讨论】:

    猜你喜欢
    • 2019-02-21
    • 1970-01-01
    • 2014-04-19
    • 2017-07-14
    • 1970-01-01
    • 2021-06-18
    • 1970-01-01
    • 1970-01-01
    • 2012-01-12
    相关资源
    最近更新 更多