【问题标题】:How do i use cache in kettle pentaho?如何在水壶 pentaho 中使用缓存?
【发布时间】:2012-09-21 10:42:36
【问题描述】:

我正在处理数据,我根据字段的值从 rest api 获取一些信息。

现在,该字段的值可能会重复,如果我已经从 REST 获取该值的数据,我想重用该值并保存 API 调用(转换中最慢的操作)。

有可能吗?如果是,怎么做?

问候 阿杰

【问题讨论】:

  • 相同的值是否总是从 REST api 产生相同的结果?那么,如果您在其中找到所有不同的请求值进行预处理转换,该怎么办。全部请求它们,并使用管道查找步骤将结果获取到您的主管道。您需要这方面的帮助吗?

标签: pentaho kettle


【解决方案1】:

@RFVoltini 你是对的,也许我们可以尝试为此目的设置一个 H2 db 服务器:http://type-exit.org/adventures-with-open-source-bi/2011/01/using-an-on-demand-in-memory-sql-database-in-pdi/

其他选项是在 java 中使用 memcached:http://sacharya.com/using-memcached-with-java/

【讨论】:

  • 我现在在想,缓存对于这项任务来说可能有点过头了(请参阅我对这个问题的评论)。但无论如何,我对如何在 PDI 中实现通用缓存很感兴趣。我会看看你的链接。谢谢。
【解决方案2】:

我做了一个示例转换,它通过国家代码从网络服务国家名称中获取。我使用的想法是,您只需从网络服务中获取不同的国家代码/名称,然后在您的主管道上查找它们。

看看这个例子:https://docs.google.com/open?id=0B-AwXLgq0XmaV0V0cHlfTFZlVUU,看看这个方法是否适用于你。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-12-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-01-31
    相关资源
    最近更新 更多