Spark 序列化：Tungsten 和 Kryo 如何协同工作？

Question

我正在阅读有关 Spark 优化的文章，但不清楚 Tungsten 和 序列化 像 Kryo 是如何协同工作的。

我正在阅读的资料来源中的一些注释让我想到了这个问题：

• “Tungsten 的表示形式远小于使用 Java 甚至 Kryo 序列化程序序列化的对象。” source-hortonworks

• “通过代码生成，我们可以提高序列化的吞吐量，进而提高 shuffle 网络的吞吐量。” source-databricks

Answer 1

他们没有，不包括一些边界情况，比如Encoders.kryo。

Tungsten 使用它自己的二进制存储格式和相应的 serde 工具 (Encoders)。这就是为什么它可以在标准操作模式下更快、内存效率更高的原因。