【发布时间】：2011-08-10 15:05:30
【问题描述】：
神经网络是懒惰的还是急切的学习方法？不同的网页说不同的东西，所以我想得到一个可靠的答案，并有好的文献来支持它。最明显的书是 Mitchell 著名的机器学习书，但浏览整个内容我看不到答案。谢谢:)。
【问题讨论】：
标签： artificial-intelligence machine-learning neural-network
【发布时间】：2011-08-10 15:05:30
【问题描述】：
查看术语lazy 和eager 学习的定义，了解神经网络的工作原理，我相信很明显它是渴望。一个经过训练的网络是一个泛化函数，用于达到分类的所有权重和路径完全由训练数据决定，但训练数据本身并不保留用于决策目的。
一个重要的区别是惰性系统存储其训练数据并直接使用它来确定解决方案。一个急切的系统从 training 数据中确定一个函数，此后不再需要该训练数据。也就是说，您无法确定来自 Eager 系统功能的训练数据是什么。神经网络当然符合这种描述。因此，一个急切的系统可以非常有效地存储，但相反是不确定的，因为无法确定它是如何或为什么到达特定解决方案的，因此可能难以处理不良或不适当的训练数据的问题。
上面链接的热切文章甚至以人工神经网络为例。您当然可能更喜欢引用的文本而不是 Wikipedia，但该页面自 2007 年以来一直存在该断言，没有相互矛盾的编辑，所以我认为这是非常可靠的。
【讨论】：
-
我不确定这是否总是正确的。看看这篇维基百科文章[1]，看起来神经网络是一个非常笼统的术语。大多数神经网络可能确实是急切的（正如您提到的，这有很好的节省空间的原因）。您是否在使用神经网络的特定定义？ (1.en.wikipedia.org/wiki/Artificial_neural_network)
-
@olleicua ：我不确定该链接如何支持您的论点。鉴于您承认 大多数 神经网络是急切的，也许您应该指定 您 所指的定义，而不是要求我这样做（事件发生 5 年后）。 Predictor 在下面给出了一个答案，暗示网络是 惰性的，但 Igor 相当合理地反驳了这一断言。
-
我的定义（直到我找到不使用它的理由）是维基百科上的定义。该定义没有要求它渴望。也许你误解了我的论点。我并不是说神经网络通常并不渴望。我声称他们不一定要渴望。我现在提出这个问题是因为我现在找到了它，并且它仍然是人们可能会找到并相信它的公共论坛中公认的答案。我指出您缺乏支持您的主张的证据，并建议您使用较弱的主张：“大多数人工神经网络都渴望”。
-
@olleicua ：我无法在支持您的论点的文本中找到“定义”。也许你应该引用具体的文字？我通过考虑 ANN 的性质和渴望/懒惰的学习得出了我的结论，并清楚地提出了我的论点，而不是在没有支持的情况下简单地陈述一种或另一种方式。它充其量只是一种观点，必须与支持论据一起得出你自己的观点。这个问题可能应该作为 SO 的主题关闭，如果今天被问到，可能会。
有些神经网络是渴望学习的，有些是懒惰的。前馈神经网络（通常由某些反向传播变体训练）是急切的：它们试图在训练时导出数据中潜在关系的表示。另一方面，径向基函数网络（例如概率神经网络或广义回归神经网络）是惰性学习器（非常类似于 k-最近邻，经典的惰性学习器）。
【讨论】：
-
我认为 RBF 网络也是渴望学习者。基础中心的位置和权重是在召回之前计算的。