在 Pentaho PDI 转换中重构 JSON

Question

我正在为我的公司评估几个 ETL 工具，并且正在使用 Pentaho。我发现文档、教程和博客缺少我需要的信息。 我的用例很简单：我将通过 HTTP 接收 JSON 有效负载，对其进行重组并通过 HTTP 将其发送到某个地方。 输入架构和输出架构可能大相径庭。

我一直盯着 Value Mapper 组件，它似乎一次只对一个字段进行操作（可能有几十个！），我看不到改变它的 jsPath 的方法。 JsonOutput 看起来更近了，但我还是看不到重组数据的方法 - 只需接受它从上一步获得的字段并命名它们。

Pentaho 中有这样的机制吗？将 Json 对象从模式 A 映射到模式 B？我还需要能够对值进行转换、更改字段名称、推断/计算新字段（但我愿意从小处着手）。

Answer 1

第一步是使用 JSON 输入步骤读取所有必填字段。做得对，这将为您提供一系列列。

现在，您可以使用标准转换步骤，例如选择值、添加常量、公式求值器、修改 JavaScript 步骤和更多以产生所需的输出。最终，您可以使用 JSON 输出步骤来编写它。

请注意，PDI 中的大多数转换实际上由多个小步骤组成，每个步骤只做一件小事。