如何从tensorflow tflite模型的posenet获取姿势坐标

Question

我用过tensorflow提供的posenet的tflite模型文件。
我得到 4 个 4d 数组的输出，它们是：

[1, 23, 17, 17]
[1, 23, 17, 34]
[1, 23, 17, 64]
[1, 23, 17, 1]

我的输入图像尺寸是 353x257。
现在如何从这个输出中获得姿势协调？

我指的是这样做的博客 - https://medium.com/tensorflow/real-time-human-pose-estimation-in-the-browser-with-tensorflow-js-7dd0bc881cd5

Answer 1

您可以参考这个新发布的博客，该博客展示了如何在 Android 上使用 PoseNet，它包含一个库，用于进行后处理以查找关键点坐标，这应该有助于指导您的代码逻辑。 基本上，第一个数组有一个分数输出，尺寸为批量大小 * 高度 * 宽度 * numKeypoints。每个 x,y 坐标包含 17 个分数，每个关键点 1 个分数。您想遍历高度和宽度并找到 17 个关键点中每个关键点得分最高的 x,y 坐标对，这就是关键点所在的位置。然后第二个数组包含偏移量，同样是批量大小 * 高度 * 宽度 * 偏移量。有 34 个，因为它是 17 * 2，因为每个关键点都有一个 x 和 y 偏移量。这是必需的，因为模型实际上将图像压缩到 23 * 17 （在您的情况下）并找到这些尺寸的坐标，然后它需要使用偏移量将其扩展回原始的 353 * 257 大小。

博文：https://link.medium.com/AKiU0kq3iZ

这里是我指的来源：https://github.com/tensorflow/examples/blob/master/lite/examples/posenet/android/posenet/src/main/java/org/tensorflow/lite/examples/posenet/lib/Posenet.kt

希望有帮助！