我正在阅读有关深度学习的论文。其中大部分是指无监督学习。
他们还说神经元是使用无监督 RBM 网络进行预训练的。后来他们使用反向传播算法（监督）进行了微调。
那么我们可以使用深度学习解决监督学习问题吗？
我正在尝试找出是否可以将深度学习应用于文档分类问题。 我知道有相当不错的分类器可用。但我的目标是找出我们是否可以为此目的使用深度学习。
【问题讨论】：
标签： machine-learning neural-network deep-learning supervised-learning
由于深度学习的基础是神经元，因此 e 只是在神经元中有监督算法，例如逻辑回归，这意味着，是的。
【讨论】：
简而言之 - 是的，它可以并且经常以有监督的方式使用。正如 Ben J 所描述的那样——架构的“深度”以无监督的方式使用，以便创建非常抽象的数据表示，以后可以用作预处理层（无微调）或初始化用于神经网络（带有微调，类似于 Hinton）。特别是您可以将这种方法用于文本。
Hinton 最近发表了一篇关于使用 DBM 对文本文档进行建模的有趣论文：http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf
网上有很多可用的资源，特别是 pylearn 库实现了这些方法，包括“经典”DBN（深度信念网络）http://deeplearning.net/tutorial/DBN.html
此外，实际上也可以仅使用堆叠的 RBM 进行分类，这种模型称为“分类 RBM”。更多详情可以在这里获取：http://machinelearning.org/archive/icml2008/papers/601.pdf
【讨论】：
绝对可以，您可以将深度学习用于监督学习和无监督学习。例如著名的 CNN 网络用于无监督学习。也许您需要从根本上了解文本挖掘，以理解对文档进行分类的深度学习模型。 我发现这个链接很有趣，我希望对你也有帮助： https://machinelearningmastery.com/best-practices-document-classification-deep-learning/
【讨论】：
是的，当然。实际上在工业中深度学习主要用于解决有监督的问题。 RBM 和这种无监督的东西在学术界之外并没有被广泛应用。要了解更多关于深度学习和监督学习的信息，您可以阅读 2012 年之后的论文，从与 ImageNet Challenge 相关的任何内容开始。
这些是深度神经网络的主要里程碑：
【讨论】：
除了上面提供的很好的参考之外，Yann Le Cunn 小组的另一篇论文只通过对字符进行编码而不使用任何外部特征提取库来进行文本分类。它只需在字符级别进行编码即可工作。他们声称准确率为 98%。
【讨论】：
深度学习是关于学习未知概念，因此通常用于在数据集中寻找模式。这是无监督的，因为这些模式不一定是先验已知的。然而，在监督学习中，您需要的模式类型很容易以适合您尝试学习的数据的训练模式的形式先验地理解。这些模式成为将模型（例如使用反向传播训练的神经网络）拟合到数据的基础。没有真正发现新概念和组件。所以从这个角度来看，我会说不，深度学习不能应用于解决监督学习问题。
话虽如此，您也许可以使用它在数据中找到有趣的模式。然后，您可以使用这些有趣的模式作为使用标准监督方法进行训练的基础。也许这就是他们在上面所做的，你提到的地方
“他们还说神经元是使用无监督 RBM 网络进行预训练的。后来它们使用反向传播算法（监督）进行了微调。”
在没有阅读您阅读的内容的情况下，也许他们从无监督算法开始寻找最有趣的数据，并在此过程中执行了一种降维形式，从而使用有监督的数据比原始数据更容易训练数据算法。
【讨论】：