在浏览器中存储 TensorFlow 模型答案

【问题标题】：Store TensorFlow Models in Browser在浏览器中存储 TensorFlow 模型
【发布时间】：2021-04-14 05:18:11
【问题描述】：

所以，在我的网站上，我使用TensorFlow pre-built models。问题是，这些模型需要几秒钟才能加载并降低用户体验。

通常，您可以使用https://www.tensorflow.org/js/guide/save_load 保存和加载这些模型，但这个预构建模型似乎没有任何内置保存功能。

（显然，第一次加载模型后，那个model.model会给出实际的模型，但不带有“.classify”等易于使用的功能）。

有没有办法解决这个问题？提前致谢！

【问题讨论】：

您希望在浏览器中使用什么型号？
我想使用自然语言问答模型。
什么时候加载模型？理想情况下，您应该在调用tf.ready() 后直接加载它，并且根据我的经验，这些模型会立即加载。除此之外，您可以下载模型，然后将其转换为适当的格式以直接加载到浏览器中，但警告它可能非常大，甚至比您当前尝试的速度慢，即使应用了量化。
好吧，文档github.com/tensorflow/tfjs-models/tree/master/qna#api 只是说要做qna.load 而没有关于tensorflow...
我的回答能解决吗？

标签： javascript tensorflow tensorflow.js

【解决方案1】：

您可以尝试使用WebGL backend，与普通 JS 后端相比，它应该会加快推理时间。

<!-- Import @tensorflow/tfjs or @tensorflow/tfjs-core -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs"></script>
 
<!-- Adds the WASM backend to the global backend registry -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs-backend-wasm/dist/tf-backend-wasm.js"></script>
 
<script>
  tf.setBackend('wasm').then(() => main());
</script>

【讨论】：