GAN 是无监督的还是有监督的？答案

【问题标题】：Are GAN's unsupervised or supervised?GAN 是无监督的还是有监督的？
【发布时间】：2017-11-10 18:17:56
【问题描述】：

我从一些消息来源听说生成对抗网络是无监督机器学习，但我不明白。生成对抗网络实际上没有受到监督吗？

1) 2-class case Real-against-Fake

确实，必须向鉴别器提供训练数据，这必须是“真实”数据，这意味着我将用 f.e. 标记的数据。 1. 即使没有明确标记数据，也可以通过在第一步中向判别器提供训练数据来隐含地这样做，你告诉判别器是真实的。通过这种方式，你以某种方式告诉鉴别器训练数据的标签。相反，在生成器的第一步生成的噪声数据的标签，生成器知道这是不真实的。

2) 多类案例

但在多类情况下它变得非常奇怪。必须在训练数据中提供描述。明显的矛盾在于，人们对无监督的机器学习算法提供了响应。

【问题讨论】：

GAN 的输入是未标记的真实数据。该算法引入了“假”数据，它可以在内部与真实数据区分开来，但不需要人工标记（“监督”）。通过这种方式，它与其他不需要人工标记的无监督方法发挥相同的作用/可以将其应用于尽可能大的未标记数据集。
人类仍然需要选择训练数据并因此对其进行隐式标记。无法使用仅显示纪念碑的训练数据生成猫图像。因此，当有人想要生成特定类型的数据时，需要在准备过程中进行监督。
见ai.stackexchange.com/a/22815/2444。

标签： machine-learning neural-network classification

【解决方案1】：

GAN 是无监督学习算法，它使用监督损失作为训练的一部分。后者似乎是您挂断电话的地方。

当我们谈论监督学习时，我们通常谈论的是学习预测与数据相关的标签。目标是让模型泛化到新数据。

在 GAN 的情况下，您没有这些组件中的任何一个。数据没有标签，我们不试图将任何类型的预测推广到新数据。目标是 GAN 对数据的外观进行建模（即密度估计），并能够生成它所学内容的新示例。

GAN 设置监督学习问题以进行无监督学习，生成虚假/随机的数据，并尝试确定样本是生成的虚假数据还是真实数据。这是一个受监督的组件，是的。但这不是 GAN 的目标，标签是微不足道的。

将有监督组件用于无监督任务的想法并不是特别新鲜。随机森林已经为异常值检测做了很长时间（也在随机数据与真实数据上进行训练），用于异常值检测的 One-Class SVM 在技术上以监督方式训练，原始数据是真实类和单点在空间的原点（即零向量）被视为异常值类。

【讨论】：

因此，GAN 既有监督步骤，也有无监督步骤。说 GAN 是无监督的是错误的。
正如我在回答中阐述的那样，GAN 确实有一个受监督的组件。但是，数据是未标记和未分类的。这是使其成为无监督算法的关键，GAN 算法不需要或提供任何标签。如果我们将任何具有监督算法中通常使用的组件的算法称为监督算法，那么根据该定义，几乎没有“无监督”算法。它取决于数据需要哪些信息（即标签形式的监督），而不是机制如何运作。
“但是，数据来自未标记和未分类。”，准确地说，您应该说“数据来自未标记和未分类到 经过训练的 GAN”，因为未经训练的 GAN 仍然需要标记数据集。
未经训练的 GAN 不需要标记数据集。这是不正确的。训练是通过在两个网络之间产生分类问题来进行的（因此是 GAN 中的“对抗性”）。这个问题的标签没有与数据一起提供，而是训练过程的一个微不足道的结果。由网络的一部分“生成”的图像具有虚假标签，训练数据具有真实标签。这些不与数据一起提供。任何时候都没有人需要在训练之前标记数据。因此，整个过程是无监督的。
因为人们普遍认为 GAN 是无监督的。原始论文通过解释如何通过使用 GAN 来学习未标记数据的特征表示，将 GAN 用于半监督学习，直接暗示了这一点。如果我们使用您的逻辑，自动编码器和 PCA 也将受到监督，因为它们使用监督损失，即使它仅用于预测输入。我已经解释了多种不同的方式，监督与非监督是数据附带标签的函数，而不是学习机制的函数。我将在此时停止此对话。

【解决方案2】：

两者都不是。大致来说，层次结构如下所示：

               machine learning methodology
                             +
                             |
                             |
                             v
    +-----------------------------------------------+
    |                        |                      |
    |                        |                      |
    v                        v                      v
supervised              unsupervised           reinforcement

【讨论】：