如何在 hazelcast.xml 中配置 jobTracker 以获得优化的性能？答案

【问题标题】：How to configure jobTracker in hazelcast.xml to get optimized performance?如何在 hazelcast.xml 中配置 jobTracker 以获得优化的性能？
【发布时间】：2016-01-28 06:50:01
【问题描述】：

以下是hazelcast.xml中的默认配置，

<jobtracker name="default">
  <max-thread-size>0</max-thread-size>
  <!-- Queue size 0 means number of partitions * 2 -->
  <queue-size>0</queue-size>
  <retry-count>0</retry-count>
  <chunk-size>1000</chunk-size>
  <communicate-stats>true</communicate-stats>
  <topology-changed-strategy>CANCEL_RUNNING_OPERATION</topology-changed-strategy>
</jobtracker>

如何更新此配置以在 java 应用程序中获得更好的地图缩减性能???

【问题讨论】：

标签： java multithreading serialization mapreduce hazelcast

【解决方案1】：

您通常要优化的值是chunk-size 和communicate-stats。第一个属性在很大程度上取决于您的 mr 工作的工作方式，并且需要一些试验和错误，最好是让 reducer 一直忙（因此取决于减少操作，对于重操作的更大块大小或对于轻操作的更小块）。 communicate-stats 停用通常不使用的统计信息的传输。

【讨论】：