如何在生产（流式传输管道）中重用 TFX 转换进行推理？

Question

我想使用 TFX 构建一个训练管道，并最终重用我的数据转换来向 TensorFlow-Serving 发出推理请求，而 TFX 应该能够做到这一点。 我发现的 TFX 示例似乎都建立了批量训练管道并最终在 TensorFlow-Serving 中推送模型，但它们没有解决推理部分，由于延迟原因，推理部分必须是流式管道。我可能会编写自己的工具来发出请求，但不将我的 Transform 组件用于推理部分似乎是一种浪费。

我已经在本地运行了由 TFX 示例安装脚本安装在 dags 中的示例。气流用户界面清楚地表明这些是批处理管道。

Answer 1

TFX 允许您在训练管道中定义转换逻辑，并将逻辑保存为生成的模型图的一部分，这样您保存的模型将包括转换和通常的模型，并且 tf serving 将能够接受转换前数据格式的请求，并在没有任何额外工作的情况下进行适当的转换和模型推理。因此，根据设计，TFX 不参与推理。