【问题标题】：Is it possible to mix kubeflow components with tensorflow extended components?是否可以将 kubeflow 组件与 tensorflow 扩展组件混合使用？
【发布时间】：2021-07-17 07:20:30
【问题描述】：
看起来 Kubeflow 已经弃用了所有的 TFX 组件。我目前有一些自定义 Kubeflow 组件可以帮助启动我的一些数据管道，我希望我可以在同一个 kubeflow 管道中使用一些 TFX 组件。是否有推荐的方法将 Kubeflow 和 Tfx 组件混合在一起？
我看到一个来自 Kubeflow 的老 PR 弃用了他们的 TFX 组件：
https://github.com/kubeflow/pipelines/issues/3853
它说：
创建这些组件是为了允许用户使用 TFX 组件
在他们的 KFP 管道中，能够混合 KFP 和 TFX 组件。如果
您的管道仅使用 TFX 组件，请使用官方 TFX
SDK。
但我确实需要混合 KFP 和 TFX 组件，有没有办法做到这一点？
【问题讨论】：
标签：
kubeflow
tfx
kubeflow-pipelines
【解决方案1】：
简单的答案是否定的，长答案是你可以，如果你破解它。不过体验不会很好。
当您查看示例 TFX 管道时，它有自己的 Python DSL。作为用户，您可以按照自己想要的方式定义管道组件，最后您可以更改目标运行器（Airflow、Beam 和 KFP）。 TFX 将编译它的中间表示，然后将其提交给您选择的跑步者。
那么问题是如何将它与其他工具混合使用。 TFX 编译 Argo 工作流 DAG，类似于使用 KFP SDK 或 Couler。当您使用 KubeflowDAG 运行器时，您可以找到 output Argo YAML for the pipeline。如果您使用 KFP 原生管道重复相同的编译过程，您将拥有两个 Argo YAML，您可以将它们合并在一起以实现您想要的特定工作负载。
如果您使用的是 MLMD，您可能需要进行一些输入/输出操作才能使其正常工作。