【问题标题】:how tensorflow inference in fp16 with model trained in fp32如何在 fp16 中使用在 fp32 中训练的模型进行 tensorflow 推理
【发布时间】:2017-10-03 20:28:04
【问题描述】:

是否有任何无缝方式可以在 NV V100/P100 中实现最佳 fp16 性能? 例如。我有一个在 fp32 中训练的模型和实现。该应用程序完美运行。现在,我想探索一下fp16的体验。有什么简单的方法可以实现吗?

【问题讨论】:

  • 我有非常相似的问题。我想采用经过训练的 fp32 模型并使用 fp16 运行推理。你有没有想过我们或任何想法如何做到这一点?

标签: tensorflow tensorflow-gpu tensorflow-xla


【解决方案1】:

试试这个method,我发现在 Pascal 架构 GPU 上使用 fp16 进行推理更快,有人可以解释一下吗?

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-02-21
    • 2019-08-09
    • 2018-11-29
    • 1970-01-01
    • 1970-01-01
    • 2021-09-13
    • 2018-02-12
    • 1970-01-01
    相关资源
    最近更新 更多