从 Ignite 缓存中导出数据

Question

我看到了多个使用 Apache Ignite 加载和处理数据的示例。但是如何在处理后从 ignite 缓存中导出数据？

我期待在集群上实现一些大型 CSV 文件的处理。假设这是一个对特定列中的数据进行预处理的简单转换。完成后，如何将其从缓存中取出到 S3 存储桶或其他位置。我的数据将跨节点分区以提高加载速度并作为 KV 缓存加载。

是否有从缓存中导出数据的标准机制（CSV 输入/CSV 输出）？我发现 ML 模型可以利用 Exporter API。但这不是我的用例。

扫描查询是实现我想要的标准方式吗？

Answer 1

如果要导出整个数据集，那么可以，

ScanQuery 与每个分区的AffinityRun 结合使用可能是迭代所有缓存条目并导出它们的最有效方法。

使用affinityRun，我们要求每个节点导出其部分数据，而不是将数据拉到单个节点进行导出。

Answer 2

sqlline 实用程序附带 Apache Ignite，它还可以使用!outputFormat csv 写入 CSV 文件。