【问题标题】:Spring xd performance with message sizeSpring xd 性能与消息大小
【发布时间】:2016-03-14 00:16:53
【问题描述】:

我在春季 xd 发现以下观察结果

我有一个像下面这样的流

s3-source| processor-parser|http-client1|Request-construct-processor>queue

queue > processor|http-client2|processor|http-client3>queue

当我的 http-client 输出 2 kb 的 json 数据时,我能够处理更多消息,例如每分钟 20k msg。如果数据大小为 26kb,它的速度太慢,以至于它每分钟处理 2000 个 msg。Request-construct-processor 创建 json 使用来自 http 的响应和输出字符串 json。我们已将通道缓存大小增加到 1000。目前我的兔子 cpu 利用率达到 100%并进入流动状态?此外,随着 msg 大小的增加,我看到更慢的 msg 速率和兔子 cpu 增加?有什么办法可以克服这个问题。

我的兔子 cpu 很高,它进入了流状态。 消息速率随着消息大小的增加而减慢。 我正在使用 8 个 cpu 和 32 gb ram 机器处理超过一百万条消息 3 个容器、一个管理员和 3 个兔子。 我正在以 10 并发运行所有模块 我也在来自 Request-construct-processor 的消息头中传递 http1 响应 我还看到处理器之间的传输队列中有很多味精,它们处于空闲阶段,xd 停止处理。

更新 2

我在标头中传递了 26 kb,现在我删除了它,我看到了良好的性能。

【问题讨论】:

    标签: spring-integration spring-xd


    【解决方案1】:

    我想知道您是否可以将batchSizebatchTimeout 属性用于Rabbit 消息总线,以提高性能。

    更多详情可以参考here

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-03-06
      • 2014-11-05
      • 1970-01-01
      • 2018-05-08
      • 1970-01-01
      • 1970-01-01
      • 2023-04-09
      • 2017-07-06
      相关资源
      最近更新 更多