理论上哪种方法最好？答案

【问题标题】：Which method should theoretically be best?理论上哪种方法最好？
【发布时间】：2015-03-02 19:49:15
【问题描述】：

假设我想使用神经网络识别我的角色。让我们将其缩减为 5 个字母，图像的二进制形式为 16x16，输入 + 2 层网络，两层内的单极函数。学习过程中使用了动量反向传播。

以下哪种方法应该给出最好的结果（其中 x 是第一层中的神经元数量）？最好的意思是正确识别的百分比最高。速度不是这个问题的一个因素。

单个网络，256;x;5 - 最高值的神经元获胜。
5 个网络，256;x;1 - 每个网络都有自己的字母，每个输出都经过阈值测试，可能会发生 2 个或更多网络将图像识别为“自己的”的情况
和上面一样，但是现在每个网络的输出都被归一化了（如果 a,b,c,d,e 是输出，那么 a = a / (a+b+c+d+e); b = b / (a+b+c+d+e) 以此类推）

【问题讨论】：

【解决方案1】：

2 是最糟糕的选择，因为“2 个或更多网络将图像识别为“他们自己的””肯定会发生很多次，之后您如何区分它们？ 1将工作合理。 3是softmax输出函数背后的基本思想，softmax通常最适合分类任务，尤其是与交叉熵误差函数结合时。

【讨论】：

我应该澄清一下，第二个选项将使用基于错误接受和错误拒绝错误的动态阈值，以找到阈值的值，大约为 50:50 f.acceptance/f.rejection 错误比率得到维护。从理论上讲，这应该可以消除“2 个或多个网络识别真实”的问题。
@Januszoff 是的，优化的阈值可能会提高性能，但它们不太可能完全消除问题，因为所有网络仍将独立决定。这也意味着您还有 5 个超参数需要微调，因此需要更多的工作，更多的过拟合问题。