【问题标题】:Pentaho PDI (Kettle/spoon) Meta Data Injection for text filesPentaho PDI (Kettle/spoon) 文本文件元数据注入
【发布时间】:2018-07-24 17:30:43
【问题描述】:

我对使用 Pentaho PDI 导入固定宽度文件感兴趣。 我使用了它的主要 GUI 工具,在 Spoon 中以图形方式设置宽度。 但是如果字段的数量非常大,比如几百个字段,那么容易出错并且需要很多时间。 在其他 ETL 工具中,我可以导入描述列属性的元文件,例如名称、大小等。

我看到 pentaho 有一个叫做 Meta-Data Injection 的东西,但是根本没有太多的教程,只有几个,而且用例非常复杂并且使用 Javascript 编写脚本,或者他们非常详细地描述了它抽象的方式。

所以希望熟悉的人能解释一下我的固定宽度文件的特殊用例。

【问题讨论】:

  • 无法理解您在问什么?你想要元数据注入样本吗?]
  • 嗨,我不是要样品,我是问在 Pentaho 中进行元数据注入的步骤是什么。根据那里的小教程,它根本不清楚。这就是我想象它可能的工作方式,我创建了一个具有数据文件属性的文本文件,如列名、列的宽度大小等。有没有办法在元数据步骤中导入这个文件让它读取属性,然后在下一步中根据属性文件的详细信息导入数据文件。

标签: pentaho pentaho-spoon pentaho-data-integration


【解决方案1】:

是的,您可以使用元数据注入步骤来应用文件名、字段、长度数据类型等动态属性。

为此,

  1. 您需要使用文件输入步骤创建一个转换。
  2. 使用元数据注入步骤创建另一个转换以及在哪里 您可以添加在第 1 步中创建的转换。
  3. 在元数据注入步骤的注入元数据选项卡中,您可以从输入步骤添加长度。

【讨论】:

  • 嗨,Niraj,感谢您的回复,非常感谢。您如何将这些转换联系在一起,以便从文件输入步骤连接到元数据注入步骤,然后如果我希望数据进入数据库,您是否从元数据注入步骤连接?
  • 您需要将数据库步骤与元数据注入步骤连接起来。在元数据注入步骤中,您可以使用文件输入添加转换。元数据注入步骤的元数据选项卡,您可以从数据库步骤中添加长度。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-09-10
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多