如何可视化 TensorRT 网络图？答案

【问题标题】：How can I visualize TensorRT network graph?如何可视化 TensorRT 网络图？
【发布时间】：2021-01-13 16:13:10
【问题描述】：

我们当前的流程：tf2->onnx->TensorRT 的对话（所有16 和32 和8 位选项）

是否有像https://github.com/lutzroeder/netron（或任何其他方式）这样的现有工具来查看TensorRT 的输出模型？

谢谢！

【问题讨论】：

【解决方案1】：

没有办法做到这一点，因为 TensorRT 模型（引擎）针对某些硬件（特定的 NVIDIA GPU 架构）进行了优化。它已经“编译”（类似于 coreML mlmodel 被编译为 mlmodelc，而 TensorFlow（或 TFLite）模型并未针对特定硬件“编译”。

我假设您要的是类似于 tensorboard 或 netron 的东西？不幸的是，我不知道 TRT 的方法。

来自 Netron 的创建者 (lutzroeder)：

除非这种格式被记录下来，否则这里可以做很多事情。 Netron 有一个仅限浏览器的版本，因此即使存在用于支持非推理场景的 Python 或 C++ API，它也不会有用。

当然，您仍然可以在创建 TensorRT 之前可视化 ONNX 模型。 TensorRT 只需要一个优化的模型，所以我不认为它会有所不同。

【讨论】：

嘿，虽然它已编译。 Nvidia 仍然拥有关于层本身的信息。实际上，当compiling 它确实在探索不同的“复杂化”方式。我们已经使用 Nertron 来查看 ONNX 的输出。但是当转换为int8 时，它不会完全一样。

【解决方案2】：

目标是在从 onnx/TensorRT 压缩后将其可视化吗？还是只是将其可视化？您可以随时使用keras tool。

我相信您也可以在 netron 中使用 TensorRT 模型，基于 youtube video。

【讨论】：