【发布时间】:2015-01-12 15:49:04
【问题描述】:
我需要构建通用工作流解决方案来满足不同类型的数据负载。 喜欢 a)从平面文件到平面文件-(可以是固定宽度文件或分隔或excel文件) b)从平面文件到数据库-(可以是任何数据库或任何文件类型,就像以前一样 c) 从数据库到数据库
可以通过设置基于 Web 的 GUI 来配置上述元数据。
元数据: a) 文件类型 b) 列 c)过滤逻辑 d)如果是条件则查找 e)加载类型:基于主键的插入、更新或UPSERT f) 数据库类型 g) 数据库的 JNDI h) 业务规则——在记录级别或汇总级别。 ....
最近,我观看了视频“https://skillsmatter.com/skillscasts/5115-how-amia-used-pentaho”,非常相信可以使用 PDI 以最少的编码创建上述工作流程。
有人能帮忙提供示例以达到同样的效果吗?
问候, 迪凯什·沙阿。
【问题讨论】:
-
我可以确认可以做到。我们构建了一个元数据驱动系统,它从任何 pdi 数据源读取数据并将数据写入 hadoop。添加新提要纯粹是数据库中的元数据,不会更改转换。
-
感谢 Codek。如果可能的话,如果您能提供一个工作示例,将不胜感激?
-
对不起,没有;这是一个庞大的工程。我没说这很容易!但绝对可以做到。
-
感谢 codek 的回复。任何提示或线索将不胜感激。
标签: design-patterns pentaho etl kettle pdi