如何自信地验证从 Google Cloud Vision 返回的对象检测结果答案

【问题标题】：How to confidently validate object detection results returned from Google Cloud Vision如何自信地验证从 Google Cloud Vision 返回的对象检测结果
【发布时间】：2017-12-03 03:29:25
【问题描述】：

我正在尝试构建一个程序，该程序可以使用 Google Cloud Vision（以下称为 GCV）正确且自信地识别对象。返回的结果大部分时间都是正确的，每个标签都有一定的准确度得分，因此。

{
    "banana": "0.92345",
    "yellow": "0.91002",
    "minion": "0.89921",
}

我正在使用的环境具有多种闪电条件，并且预计物体会放置在随机位置。当放置不同位置的物体时，由于查询的是不同的图像，GCV返回的结果会略有不同。例如，

{
    "banana": "0.82345",
    "lemon": "0.82211",
    "yellow": "0.81102",
    "minion": "0.79921",
}

我的程序的设计方式是，当检测到对象banana 的精度大于某个值时，将调度下一个操作。

有 3 组对象类型。例如，banana 进入容器 A，apple 进入容器 B，orange 进入容器 C。

当我向教授展示我的工作时，他质疑我如何自信地定义和验证每个项目的阈值，以尊重其各自的集群。

我试图通过训练数百张香蕉图像来获得香蕉的平均分数，但最终我发现这可能不是定义阈值的正确方法。我的教授建议使用 K 最近邻来查找这些图像的相似性，但这不是 GCV 的一部分吗？即使他的建议是正确的，在 GCV 返回的数据有限的情况下，训练 GCV 后分类器的正确方法是什么？

【问题讨论】：

标签： python machine-learning computer-vision knn google-cloud-vision

【解决方案1】：

在我的实践中，我使用了 NN 算法和其他一些我不知道它们的名字的东西，直到我不得不制作关于我的工作的幻灯片。这是关于预测Facebook的广告帖子是否会被FB禁止。

NN 需要两个元素的某个函数来测量它们之间的距离，以便找到最佳函数。如果你知道整个集合的真实类，那么在你的模型分类之后，你会得到四个称为混淆矩阵的情况。
https://en.wikipedia.org/wiki/Confusion_matrix

您可以将不同的指标应用于混淆矩阵来衡量您获得的准确性，而我选择的指标似乎被称为 Fowlkes-Mallows 指数。
https://en.wikipedia.org/wiki/Fowlkes%E2%80%93Mallows_index

我可以在一组图像上训练系统，然后告诉对另一组图像进行分类，然后计算 FM，但我究竟如何将整个图像一分为二呢？所以我没有。相反，对于一组 N 个图像，我从一组图像中取出一个图像并在剩余的 N-1 个图像上重新训练模型 N 次。这种技术称为交叉验证。
https://en.wikipedia.org/wiki/Cross-validation_%28statistics%29#k-fold_cross-validation

这足以回答您当前的问题。在我的例子中，我有 2000 张两个类别的图像，结果 FM 等于 0.6。这是幻灯片（俄语），最后有所有这些链接： https://drive.google.com/file/d/0B3BLwu7Vb2U-SVhKYWVMR2JvOFk/view?usp=sharing

稍后您会发现，如果您通过丢弃一些教导模型错误假设的图像来优化集合，或者如果它们已经被相同的案例密集包围，那么准确度会大大提高NN 使用的空间中的类。所以我丢弃了不同的子集并重新计算 FM。
但是由于交叉验证需要重新训练，并且对于一组 2000 张图像，我有 2^2000 种方法来缩小它，这是一个非常缓慢的过程，所以我无法完全解决优化问题。您可以尝试深度优先遍历树的方法以使用一些启发式方法抛出子集，但我使用了一种自定义方法，能够在两个小时内将 FM 从 0.6 增加到 0.8，并且在 98% 的情况下分类是正确的。

【讨论】：