可以训练神经网络识别抽象模式形式吗？答案

【问题标题】：can a neural network be trained to recognize abstract pattern forms?可以训练神经网络识别抽象模式形式吗？
【发布时间】：2017-03-09 08:06:42
【问题描述】：

我很好奇即使是经过专业设计的网络也可能存在的限制。特别是这一点是我可以使用的一些见解：

给定：

一组非平凡大小的随机整数（比如至少 500）

专业创建/训练的神经网络。

任务：

数字字谜： 在给定的时间范围内创建无限整数序列的最大表示，其中序列要么可以用封闭形式表示（即 - n^2、2x+5 等），要么是在 OEIS (http://oeis.org/) 中注册。用于创建的数字序列可以以任何顺序从输入集中获取。所以如果馈入网络 (3, 5, 1, 7...)，返回 (1, 3, 5, 7 ...) 将是可接受的结果。

据我了解，可以训练 ANN 来寻找特定的序列模式（再次 - n^2、2x+5 等）。我想知道是否可以让它识别更一般的模式，如 n^y 或 xy+z。我的想法是它不能，因为 n^y 可以产生看起来彼此足够不同的序列，以至于无法建立稳定的“基本模式”。也就是说 - 人工神经网络工作方式的本质（获取输入集并对它被训练寻找的静态模式进行模糊匹配）是它们在可以训练寻找的范围方面受到限制.

我做对了吗？

【问题讨论】：

我不是 100% 清楚你想用它们做什么，但一个很好的直觉是将 NN 视为模糊数字电路。如果您可以制作一个可以完成任务的数字电路，那么您可以制作一个也可以完成任务的神经网络。 NN 也可以将模拟值作为输入，但它们仅限于通过常数和和进行简单的乘法运算。非线性被用于以一种近似的方式逼近更复杂的函数。
@Houshalter 感谢您回复我！我想了解的是 NN 识别模式 qua 模式的能力的局限性。我知道可以训练 NN 来识别特定模式，例如 x^2。因此，对于每次运行，如果存在 x^2 的序列 - NN 可能会报告它。如果每次运行都有不同的序列，例如第一次为 x^2，第二次为 2x * 5，第三次为 xlogx，等等，则需要更复杂的 NN，但可以对其进行训练以找到这些东西。我要确认的是我的理解：
1) NN 将无法识别它没有被明确告知要寻找的模式。 2) 神经网络无法识别更一般形式的模式被训练来寻找。因此，虽然可以训练它寻找 x^2，但永远无法训练它寻找 x^y。
将 NN 视为“函数逼近器”。可以训练它们在给定特定输入的情况下产生特定输出。他们在逼近一个函数方面有多好取决于很多事情，但他们似乎在有足够的隐藏单元和训练示例的情况下，可以很好地完成大多数简单的连续函数。我不希望它能够识别出它所训练的模式之外的模式。它们是内插而不是外推。
这里很好地解释了神经网络如何逼近函数：neuralnetworksanddeeplearning.com/chap4.html TBH 我没有尝试过，也没有研究过它，以确切地知道它们擅长于逼近哪些函数与其他函数。我只是不希望它在未经训练的数据上表现良好，或者不能用分段线性函数完成。

标签： neural-network artificial-intelligence oeis

【解决方案1】：

继续我在 cmets 中与你的对话：

神经网络仍然可能有用。可以训练神经网络来预测数据，而不是训练神经网络来搜索单一模式。如果数据包含可预测的模式，NN 可以学习它，NN 的权重将代表它已经学习的模式。我想这可能是你打算做的。

如果您这样做，可能会对您有所帮助：

自动编码器进行无监督学习，可以学习单个数据点的结构。

循环神经网络可以对数据序列进行建模，而不仅仅是对单个数据点进行建模。这听起来更像您正在寻找的。p>

Compositional Pattern-Producing Network (CPPNs) 是一个非常花哨的词，用于表示具有数学函数作为激活函数的神经网络。这将允许您使用简单的激活函数（如 sigmoids 或 ReLU）对难以由 NN 近似的函数进行建模。但通常这不是必需的，所以在你有一个简单的 NN 工作之前不要太担心它。

Dropout 是一种简单的技术，您可以在每次迭代中删除一半的隐藏单元。这似乎严重减少了过度拟合。它可以防止神经元之间形成复杂的关系，从而使模型更具可解释性，这似乎是您的目标。

【讨论】：

太棒了。这正是我一直在寻找的 - 非常感谢您的见解！