使用 TensorFlow.js 进行实时单个对象跟踪

Question

我在机器学习方面迈出了第一步，我已经学习了许多 TensorFlow.js 教程，并且我正在努力实现这一目标：“实时单对象跟踪/检测”

类似这样的东西 -> 输入：网络摄像头/视频 -> 输出：对象边界框

我知道有 SSD 和 YOLO 以及其他库来预测和定位对象。但是预测时间很慢（在浏览器中），我猜是因为神经网络必须在这么多对象之间进行预测。

https://github.com/ModelDepot/tfjs-yolo-tiny https://github.com/tensorflow/models/tree/master/research/object_detection

如果我只想跟踪单个对象怎么办？这有没有可能？性能会更好吗？我应该从哪里开始？

我一直在考虑从 SavedModel 中提取预训练的类（对象），然后开始从中进行更多训练。但似乎没有关于 Google 的任何说明。

Answer 1

我发现了 IBM 的一些很棒的代码，我在这条推文的视频中使用了这些代码：https://twitter.com/GantLaborde/status/1125735283343921152?s=20

我在此处提取了该代码以制作一个用于检测 Rock/Paper/Scissors 的 ReactJS 组件：https://github.com/GantMan/rps_tfjs_demo/blob/master/src/AdvancedModel.js

如果你想玩这个演示，它在这个页面的底部：https://rps-tfjs.netlify.com/

所有这些都是开源的，并且对于实时检测单个对象来说似乎工作得非常快。