最佳神经元和神经层大小，以提高准确性和效率答案

【问题标题】：Optimum neuron and neural layer size for accuracy and efficiency最佳神经元和神经层大小，以提高准确性和效率
【发布时间】：2016-11-14 01:23:43
【问题描述】：

我正在研究深度神经网络，并且想知道以下问题：

一般而言，对于最佳准确度而言，最佳层数和每层神经元数是多少？

根据这张图：

最佳数量是否等于特征大小，以便考虑每个特征对其他特征集的影响？

此外，如果我们在寻找最佳准确性和效率，答案会有所不同吗？

谢谢，任何见解都值得赞赏！

编辑：

这些答案内容丰富。我仍然觉得他们没有具体解决我问题的第一部分。澄清一下：是否有最大数量的神经元和层在应用时对数据的粒度相同，因此添加更多的神经元或层将是多余的？我假设 3 个特征数据集的无限层在某些时候会变得不必要。再次感谢大家的阅读和回复！

【问题讨论】：

【解决方案1】：

您的问题没有通用答案。这些量被称为超参数，它们的选择是一个开放的问题，也是机器学习艺术的重要组成部分。 Here是Quora上的话题讨论。

有关神经网络及其内部工作原理的详细介绍，请参阅improving the way neural networks learn。

要获得选择此类超参数和构建网络架构的直觉，明智的做法是研究已知的成功模型：

LeNet：卷积网络的第一个成功应用是由 Yann LeCun 在 1990 年代开发的。其中，最著名的是用于读取邮政编码、数字等的 LeNet 架构。

AlexNet：第一个在计算机视觉中普及卷积网络的工作

GoogleNet：ILSVRC 2014 冠军

研究它们是如何针对正在解决的问题的细节而设计的。

【讨论】：

【解决方案2】：

没有找到最佳数量的直接方法：人们凭经验尝试并查看（例如，使用交叉验证）。最常见的搜索技术是随机搜索、手动搜索和网格搜索。

还有更高级的技术，例如

1) 高斯过程。示例：

扎伦巴，沃伊切赫。伊利亚·萨茨克维尔。 Rafal Jozefowicz "An empirical exploration of recurrent network architectures." (2015)：使用进化计算找到最佳 RNN 结构。
弗兰克·德农库尔。 “The medial Reticular Formation: a neural substrate for action selection? An evaluation via evolutionary computation.”。硕士论文。高等师范学院上级乌尔姆。 2011. 使用进化计算在 ANN 中寻找连接。
拜耳、贾斯汀、Daan Wierstra、Julian Togelius 和 Jürgen Schmidhuber。 “Evolving memory cell structures for sequence learning.”在人工神经网络国际会议上，第 755-764 页。 Springer Berlin Heidelberg, 2009.：使用进化计算来寻找最优 RNN 结构。

【讨论】：

【解决方案3】：

您的问题没有通用答案。但是通过更改这些参数将能够达到最佳解决方案。

【讨论】：