TensorFlow - XLA | TF ops 如何降低到 XLA 进行训练

Question

在训练期间如何将 tensorflow 操作降低到 XLA 操作？

tensorflow/compiler/tf2xla/kernels 下的文件只定义了 ComputationBuilder 中操作方面的前向传递/推理。

这个问题与“Tensorflow - XLA | Passing tensors to external functions at runtime”有关，因为我需要降低到 XLA 操作的 TF 操作以在训练和推理期间传递张量。也请分享您对另一个问题的看法。

谢谢

Answer 1

我的理解是，Tensorflow 会计算反向传播所需的导数在它将图形传递给 tf2xla 进行降低。使用 tf2xla 将所有用于训练和推理的 Tensorflow 操作降低到 XLA；没有其他机制。