【问题标题】:How to increase throughput in Informatica PowerCenter 10 for FileReader如何提高 Informatica PowerCenter 10 for FileReader 的吞吐量
【发布时间】:2019-04-01 14:46:55
【问题描述】:

ter][1]1我有一个使用 XML 解析器转换从文件中读取 XML 数据的工作流。它有 12 个目标表来加载它们。目前它工作成功,但问题是从文件中读取数据时的吞吐量(行/秒)。对于 10 个或更少的文件数,它提供 10 行/秒的吞吐量。但是如果我提供超过 10 行,那么最初在工作流开始时吞吐量是 4 到 5 行/秒,然后突然下降到 1 行/秒。对于所有文件,它仍然是 1 行/秒。有时我有 300 或 400 个文件,仅以 1 行/秒的速度读取这 300 400 行就需要花费太多时间。

我尝试通过增加 DTM 缓冲区和默认块大小值来进行改进。 我也尝试过将“动态分区选项”改为“基于分区数”。

但没有成功。

【问题讨论】:

  • 从会话日志中查看统计信息,可以在日志文件末尾找到。如果可能,请在此处粘贴,这将有助于我们了解瓶颈所在。
  • 我添加了统计截图
  • 由此我知道瓶颈是转换线程。其中,JNR_DeviationEnabled 花费的时间最多。
  • 为了衡量性能,我检查了“收集性能数据”和“将性能数据写入存储库”。我附上了性能计数器,谁能描述一下他们的数字在说什么?
  • 正如日志中所指出的:这是造成问题的加入者。请检查数据/索引缓存信息的数量。如何为两个加入者配置缓存?有多少个加入条件?

标签: xml filereader informatica-powercenter throughput


【解决方案1】:

正如会话日志统计中提到的,2 个加入者是瓶颈,因为他们的忙碌百分比几乎是 100%。所以我在这些连接器之前添加了排序器,然后降低精度值以避免排序器行大小限制为 8MB。现在吞吐量也增加了,等于文件数/秒而不是一行/秒。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-08-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多