【发布时间】：2017-05-25 00:40:08
【问题描述】：
我对深度学习还很陌生，对许多不同的网络及其应用领域感到不知所措。因此，我想知道是否存在某种概述，存在哪些不同的网络，有哪些关键功能以及它们的用途。
例如，我知道 LeNet、ConvNet、AlexNet - 不知何故它们是相同的但仍然不同？
【问题讨论】：
标签： deep-learning
【发布时间】：2017-05-25 00:40:08
【问题描述】：
基本上有两种类型的神经网络，监督和无监督学习。两者都需要一个训练集来“学习”。将训练集想象成一本海量书籍，您可以在其中学习特定信息。在监督学习中，本书提供答案键但没有解决方案手册，相比之下，无监督学习没有答案键或解决方案手册。但目标是一样的，就是找到问题和答案（监督学习）和问题（无监督学习）之间的模式。
现在我们已经区分了这两者，我们可以进入模型。让我们讨论一下监督学习，它基本上有 3 个主要模型：
人工神经网络 (ANN)
卷积神经网络 (CNN)
循环神经网络 (RNN)
ANN 是三者中最简单的。我相信你已经明白了，所以我们可以向 CNN 前进。
基本上，在 CNN 中，您所要做的就是将我们的输入与特征检测器进行卷积。特征检测器是维度为（行、列、深度（特征检测器数量）的矩阵。卷积输入的目标是提取与空间数据相关的信息。假设您想区分猫和狗。猫有胡须，但狗没有。猫的眼睛也与狗不同，等等。但缺点是，卷积层越多会导致计算时间变慢。为了缓解这种情况，我们进行了一种称为 pooling 的处理strong> 或 downsampling。基本上，这会减小特征检测器的大小，同时最大限度地减少丢失的特征或信息。然后下一步是 flattening 或将所有这些 3d 矩阵压缩为 ( n,1) 维度，因此您可以将其输入到 ANN。然后下一步是自我解释，这是正常的 ANN。由于 CNN 天生就能够检测某些特征，因此它主要（可能总是）用于分类，例如图像分类, 时间序列类sification，甚至可能是视频分类。有关 CNN 的速成课程，请查看 Siraj Raval 的 video。他是我一直以来最喜欢的 youtuber！
RNN 可以说是三者中最复杂的一种，最好将其描述为具有“记忆”的神经网络，通过在其中引入允许信息持续存在的“循环”来实现。为什么这很重要？当您阅读本文时，您的大脑会使用先前的记忆来理解所有这些信息。你似乎不会从头开始重新思考一切，这就是传统神经网络所做的，即忘记一切并重新学习。但是原生 RNN 并不有效，所以当人们谈论 RNN 时，他们大多指的是代表 Long Short-Term Memory 的 LSTM。如果您对此感到困惑，Cristopher Olah 将以非常简单的方式为您提供深入的解释。我建议您查看他的链接，以全面了解 RNN，尤其是 LSTM 变体
至于无监督学习，很抱歉我没有时间学习它们，所以这是我能做的最好的了。祝你好运，玩得开心！
【讨论】：
它们是相同类型的网络。卷积神经网络。概述的问题在于，一旦您发布某些内容，它就已经过时了。您描述的大多数网络都已经很老了，尽管它们只有几年的历史。
不过，您可以查看 caffe (https://github.com/BVLC/caffe/tree/master/models) 提供的网络。
在我个人看来，深度学习中最重要的概念是循环网络（https://keras.io/layers/recurrent/）、残差连接、初始块（参见https://arxiv.org/abs/1602.07261）。其余的主要是理论概念，不适合堆栈溢出答案。
【讨论】：