【问题标题】:Pentaho Data Integration : Combination Lookup/Update : Not all rows insertedPentaho 数据集成:组合查找/更新:并非所有行都插入
【发布时间】:2017-02-03 02:12:41
【问题描述】:

我的问题很简单,我想知道为什么我的所有行都没有插入到我的 PostgresDB 中。因为我需要插入所有行。步骤(组合 L/U)成功并带有绿色刻度线。如果不成功,该步骤不应该有红色的勾号吗?这是我的转型的步骤指标:

【问题讨论】:

  • 您可以添加组合查找/更新步骤配置的屏幕截图吗?您的某些记录很可能对所有查找字段具有相同的值,因此查找不需要更改任何内容,它只返回现有维度记录的键。
  • 我已经添加了L/U组合步骤的截图,谢谢。

标签: pentaho etl pentaho-data-integration


【解决方案1】:

看起来您正在填写事实表,而不是维度。表输出步骤是正确的选择,因为您不再需要查找任何内容,您已经在前面的步骤中执行了该操作。

关于您的数据和事实表的注释:

从问题中,您有一些重复的行(在组合查找更新中消失的行)。请根据源数据仔细检查它们是否应该存在,以及它们是否符合您所考虑的“粒度”。

例如:

  • 如果事实表包含每次销售的一条记录,那么有两行具有相同的时间、办公室等,甚至相同的金额是完全可以的。不过,您的表格确实包含很多,几乎 10%。
  • 如果事实表包含每个办公室每天的销售额等。那么应该有两行具有所有相同的键,甚至相同的金额。可能是 ETL 中的某些连接操作创建了重复项。

【讨论】:

  • 对不起,我忘了说,它确实是一个事实表。我只是碰巧意识到我可以将表输出用于我的事实表,因为我已经完成了我需要的所有查找。当我检查源文件时,你是对的,它包含一些重复的行,用于我查找的组合。因此,130k 行已经是我的事实表的正确数字。谢谢。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多