ONNX 模型推理对相同的输入产生不同的结果

【问题标题】：ONNX model inference produces different results for the same inputONNX 模型推理对相同的输入产生不同的结果
【发布时间】：2021-11-02 07:21:16
【问题描述】：

我正在使用一个相同的输入来测试多个推理调用的 ONNX 模型，但每次都会产生不同的结果？

详情请参考以下 Colab 脚本。

【问题讨论】：

【解决方案1】：

这是意料之中的，因为 ONNX 不提供确定性计算 (details)。

标志 SessionOptions.use_deterministic_compute 用于 ONNX 训练，但推理永远不稳定。 conversion script 提供了许多可配置绝对和相对误差的测试。

【讨论】：