icCube 增量与单次加载性能

Question

我正在使用具有增量加载功能的平面文件数据源，并且看到不同的性能取决于我执行加载的方式。我有 3 个数据集 {d1,d2,d3}，d1 和 d2 大小相同，d3 大 3 倍。我在一台 16GB 内存的机器上做以下测试：

1. 加载 d1 - 时间：1m07s
   
2. 增量加载 d2 - 时间：2m53s
   
3. 增量加载 d3 - 内存不足
   

另一方面，如果我做 d1+d2+d3 的单次加载，总时间是 5m29s 并且没有内存问题。

这只是增量加载与单次加载时的内存开销问题，还是我应该更好地管理性能？

Answer 1

已实现增量加载以支持实时，它与正常加载的逻辑不同。

额外的数据被预加载到内存中，这就是它占用更多内存的原因。在此预加载期间，模式仍然可用，一旦新数据完全预加载并完成第一次质量检查，模式将被写锁定并完成实际加载。这允许将模式锁定几毫秒。

增量加载适用于实时的“少量”附加数据，并不真正适合您的场景。

缓慢的时间不是因为你的内存不足（很多 GC 的） ?

希望对您有所帮助。

PS：如果您需要其他支持，请直接联系支持。