如何使用神经网络进行语义实例分割的输入图像和标签？

Question

所以我知道对于标准卷积神经网络，您可以为神经网络 (NN) 提供一个带有标签列表的文件，或者简单地按文件夹分隔您的类，但例如分割，我想它是不同的吧？

例如，使用 labelme2 之类的网站，您可以对图像进行注释和分割，然后将它们与掩码文件和 XML 文件一起下载以用于标签。是否需要随后将原始图像、掩码图像和 XML 文件输入到实例分割 NN 中？

提前致谢。

Answer 1

您需要以能够将其用于预测的方式训练您的神经网络。

• 如果你只想从图像中预测类别，那么你想要发送给你的神经网络的只是

  • 原始图像（可能色彩平衡）和
  • 从 XML 中预测类（将其转换为 1 个热门类编码）

• 如果你也想预测掩码，那么发送

  • 原始图像（可能色彩平衡）和
  • 从 XML 中预测掩码和类（将其转换为 1 个热门类编码）

上述目标（只是类，或类+掩码预测）推动了存储类或类+掩码的决定。