TensorFlow.js 在浏览器中的速度答案

【问题标题】：TensorFlow.js speed in the browserTensorFlow.js 在浏览器中的速度
【发布时间】：2019-04-17 23:05:17
【问题描述】：

我已经在 Keras（20 个单元）中训练了一个简单的双向 LSTM 网络，并通过

导出了模型

tfjs.converters.save_keras_model(model, 'myModel')

模型大小为 53kb。在我的 JavaScript 应用程序中，我像这样加载模型

var model;
async function loadModel() {;
    model = await tf.loadModel('https://example.com/myModel.json');
}

然后我运行我的预测

async function predict(input) {
    var pred = model.predict(input);
    ...
}

加载模型需要 5-6 秒，这很好。但困扰我的是每次调用 predict() 也需要 5-6 秒。每次。对于我的用例，我需要非常快的预测，1 秒或更短。

我的问题是：这正常吗？还是我的代码有问题？

编辑：这是一个代码笔：https://codepen.io/anon/pen/XygXRP

顺便说一句，model.predict 阻塞了 UI - 我该如何防止呢？

【问题讨论】：

【解决方案1】：

您的 UI 被阻塞是因为您没有要求线程等待预测结果，这意味着它正在同步运行而不是异步运行。您可以使用 await 关键字来解决此问题，例如var pred = await model.predict(input).

您的代码的其余部分似乎没问题，因此延迟似乎来自您的实际模型，因为我看到我的 CPU 几乎没有负担运行您的模型。

值得阅读 tensorflowjs 博客 post，因为它们为您提供了如何提高模型效率以在浏览器中进行更快推理的示例。

【讨论】：

【解决方案2】：

做一件简单的事：使用“webgl”后端来获得更好的向量/矩阵运算性能，而不是“cpu”，我认为它是原生 Javascript，AF 很慢。

【讨论】：