是否可以使用 TensorFlow Lite 和 MLKit 为检测到的对象返回多边形边界或 3d 图像分割？

Question

我正在制作一个使用 MLKit 的项目。分类模型将是 TensorFlow Lite 模型。我注意到检测到的对象总是返回矩形边界框。我希望它们返回形状类似于它正在检测的对象的多边形边界，或者如果可能的话，返回一种“3D”边界。

我知道某些注释工具，以及诸如 Mask RCNN 之类的东西，但我不确定如何将它们集成到 TensorFlow Lite 模型中（或者我是否应该在模型中而不是基础代码中实现它）或者如果我什至可以做到，那么我为什么要问......

是否可以使用 MLKit + TensorFlow Lite 使检测到的对象返回边界多边形，甚至 3D 多边形/图像分割，而不是边界框？

Answer 1

ML Kit 的对象检测和跟踪 API 仅限于检测到对象的 2D 边界框。我个人不知道将多边形作为边界返回的通用对象检测解决方案。图像分割（例如Tensorflow Lite Image Segmentation）似乎是一种更简单的方法，尽管您可能需要根据应用程序（重新）训练自己的模型。