为什么需要自组织映射中的迭代次数？答案

【问题标题】：Why is there a need for the number of iterations in the Self-Organizing Map?为什么需要自组织映射中的迭代次数？
【发布时间】：2011-10-24 06:45:24
【问题描述】：

当我为我的论文提案辩护时，我的一位教授问我为什么我们必须在 SOM 中指定迭代次数？他说，应该有一个收敛标准让我们停止训练。

但是，据我了解，我们没有目标向量，因此无法将成本降至最低。

我的问题首先是，为什么需要 MAX_ITERATIONS，其次，是什么向我们保证我们选择的迭代次数会给出最佳地图。 :(

附：根据经验，我尝试在颜色数据集上使用 1000 次迭代和 10000 次迭代。似乎 10000 次迭代并没有提供比 1000 次更好的可视化效果。:(

【问题讨论】：

第一个问题很好！但是，将来您可能希望指定一些实现细节（例如，您使用的 SOM 库、语言、颜色数据集是什么）或省略未指定的引用。

标签： neural-network som self-organizing-maps

【解决方案1】：

因此，您和您的教授都是对的：您应该指定迭代次数的硬性上限和收敛标准。

收敛标准 - 虽然 SOM 是无监督的，因此没有目标向量，但您仍然可以将它们视为最小化一些成本函数。一般来说，大多数无监督机器学习方法可以尝试做一些事情，比如最小化未解释的方差、最大化信息增益等。特别是对于 SOM，我使用权重增量作为标准。也就是说，当额外的迭代没有改变 SOM 的权重超过某个阈值时，停止迭代。

迭代上限 - 即使有一个收敛标准，硬上限也是必要的，以防 SOM 不收敛（您不希望它永远运行）。如果您使用我的示例权重增量标准，那么可能会出现权重在迭代之间不断波动的情况，从而导致永远无法满足标准。

SOM 快乐！

【讨论】：

不完全。您通常的 SOM 将始终收敛，并且始终需要您选择的迭代次数。学习算法的learn-rate和learn-radius参数随着每次迭代而变得越来越小，因此权重的变化会越来越小

【解决方案2】：

您确实有一个目标成本函数可以在 SOM 中最小化。 SOM 类似于多维缩放 (MDS)。目的是保持拓扑关系；因此，SOM 的每一次迭代实际上都是为了最小化“源空间中任意两点的距离”和“目标空间中相同两点的距离”之间的误差，只不过在 SOM 中，那些相似的点是用神经元表示的目标空间。这也是 SOM 可用于集群的方式。

迭代过程可视为梯度下降。在最小化二次误差成本函数时，也容易被局部最小值所困。这也可以解释为什么即使经过大量迭代，SOM 也会导致“扭结”。

【讨论】：