在 Spark Pipeline 中部署 TensorFlow/Keras 模型

Question

我已经训练了几个 RNN+biLSTM 模型，我想将它们部署在由 pyspark 管道步骤组成的管道中。 spark-deep-learning 似乎是一个陈旧的项目，仅适用于处理图像数据。目前是否有将tensorflow/keras 模型（及其相关的向量嵌入）加载到pyspark 管道的最佳实践？

Answer 1

如果你想在 Spark 中部署一个 TensorFlow 模型，你应该看看Deeplearning4J。它带有一些 Importers，您可以在其中阅读 keras 和 TensorFlow 模型。 请注意，并非每一层都受支持。

除了 spark-deep-learning 还有tensorframe，我没用过，不知道好不好。

一般来说，我建议通过Distributed Tensorflow 直接使用 tensorflow，而不是使用所有这些包装器。