如何在 Tegra X2 上使用 TensorFlow-GPU 模型进行推理？答案

【问题标题】：How to do inference using TesnorFlow-GPU models on Tegra X2?如何在 Tegra X2 上使用 TensorFlow-GPU 模型进行推理？
【发布时间】：2018-11-23 07:30:16
【问题描述】：

我是 Jetson tegra x2 板的新手。

我计划在 TX2 板上运行我的 tensorflow-gpu 模型，看看它们在那里的表现如何。这些模型在 GTX GPU 机器上进行训练和测试。

在 tx2 板上，Jetpack full 中没有 tensorflow。所以需要构建/安装 tensorflow，我已经看过几个教程并尝试过。我的 python 文件 train.py 和 test.py 需要 tensorflow-gpu。

现在我怀疑，如果在 tx2 板上构建 tensorflow-gpu 是正确的方法吗？

哦，TX2 上有 Nvidia TensorRT，它可以完成部分工作，但是怎么做呢？对吗？

tensorflow 和 tensorRT 会协同工作来取代 tensorflow-gpu 吗？但如何？那么我必须在我的训练和测试 python 文件中进行哪些修改？

我真的需要为 tx2 构建 tensorflow 吗？我只需要推断我不想在那里进行培训。

我研究了不同的博客并尝试了几个选项，但现在事情有点混乱。

我的简单问题是：

使用在 GTX 机器上训练的 TensorFlow-GPU 深度学习模型在 Jetson TX2 板上完成推理的步骤是什么？

【问题讨论】：

标签： python tensorflow tegra tensorrt nvidia-jetson

【解决方案1】：

最简单的方法是安装NVIDIA提供的轮子：https://docs.nvidia.com/deeplearning/dgx/install-tf-jetsontx2/index.html

JetPack 已经安装了所有依赖项。

使用轮子安装 Tensorflow 后，您可以使用它，但在其他平台上使用 Tensorflow。对于运行推理，您可以将 Tensorflow 模型下载到 TX2 内存中，然后在其上运行 Tensorflow 推理脚本。

您还可以通过 TF-TRT 传递 Tensorflow 模型来优化它们：https://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html 只有一个 API 调用可以进行优化：create_inference_graph(...) 这将优化 Tensorflow 图（主要通过融合节点），还可以让您构建较低精度的模型以获得更好的加速。

【讨论】：

【解决方案2】：

我按照本指南在 JetsonTX2 上构建了 tensorflow。它为 Python 2 和 Python3 提供了指令和轮子。

https://github.com/jetsonhacks/installTensorFlowTX2

如果您是 Jetson TX2 的新手，还请查看此“使用 TensorRT 和 NVIDIA Jetson 部署深度学习推理网络和深度视觉原语的指南” . （*这不需要安装 tensorflow，因为 Jetpack 已经构建了 TensorRT）

https://github.com/dusty-nv/jetson-inference#building-from-source-on-jetson

如果您想要在 Jetson 上运行推理的 tensorflow 训练图，那么您需要先安装 tensorflow。之后，建议您使用 tensorRT 优化您的训练模型（对于推理不是强制性的）。查看这些存储库，了解使用 TensorRT 优化的对象检测/分类示例。

【讨论】：

【解决方案3】：

您可以在 Nvidia 开发者论坛的此链接中找到适用于 python 2.7 和 python 3.5 的 TX2 的 tensorflow-gpu 轮文件。

https://devtalk.nvidia.com/default/topic/1031300/jetson-tx2/tensorflow-1-8-wheel-with-jetpack-3-2-/

【讨论】：