【问题标题】:Recurrent Neural Network Training and Test Sets循环神经网络训练和测试集
【发布时间】:2013-05-25 09:35:45
【问题描述】:

我正在构建一个由 GA 优化的 rNN。这恰好是我在这个领域的第一个项目,所以我对某些事情感到困惑。如果有人能帮助我更好地理解它们,那就太好了。

首先,ANN 和 rNN 的训练和测试数据集看起来完全不同。例如,如果我在预测时间序列,我有一组 n 个观察值。我该如何使用它?我的意思是,我需要有 n 个输入神经元还是 1 个输入神经元?如何计算错误?每一代还是每第k代?我是否必须对 k 进行平均(即适应度函数将是 k 代的均方误差)。

经过 n 代后,我到达了样本的末尾,是否需要多次复制它?在这种情况下,我应该使用什么作为测试集,相同的样本还是不同的样本?

我知道有很多问题,但如果有人能帮助我解决其中的一些问题,我将不胜感激。

【问题讨论】:

    标签: artificial-intelligence neural-network genetic-algorithm


    【解决方案1】:

    我假设当您说您正在尝试预测时间序列时,您的意思是您拥有一系列数据并且您正在尝试预测下一个值。如果是这种情况,您只需要一个输入节点,因为您一次只有一个数据可以作为预测的基础(如果我做出不正确的假设并且您实际上是在尝试基于一个分类关闭整个时间序列,那么您将需要 n 个输入节点)。

    如果您使用遗传算法意义上的“世代”一词,我真的看不出有办法避免每一代都计算误差,因为您需要评估人口中所有成员的适应度每一代都是为了产生下一代。但是,因为您谈论的是在一定数量的世代之后到达样本的末尾,所以听起来您实际上可能是在谈论在时间序列中的连续点上运行神经网络。看起来您确实需要某种错误度量来考虑时间序列中每个点的错误。最简单的事情可能就是在你去的时候总结它们。最后除以 k 以获得平均值可能更直观(给定估计的平均误差是我们倾向于考虑的比总误差更多的东西),但由于 k 是一个常数,实际上哪一个并不重要只要你保持一致,你就可以使用你的健身功能。

    如果到目前为止我对您的问题的理解是正确的,那么您基本上是通过运行整个时间序列数据并跟踪错误来评估您群体中每个候选神经网络的适应度。由于整个事情就是你的适应度函数,你需要为每一代的每个候选结构运行它。因此,这个样本可以被解释为你的训练集。为了更普遍地评估成功,您需要使用不同的时间序列作为测试集。

    希望对您有所帮助!如果我误解了您的问题或其中任何部分不清楚,请告诉我。

    【讨论】:

    • 谢谢,我已经掌握了大部分内容。我有 1 个输入 x(t) 和 1 个输出 x(t+1)。现在我的问题是,如果我运行整个时间序列 x 以获得权​​重向量(GA 中的物种)的误差值,我应该使用什么作为测试集?完全相同的时间序列?或者我应该通过时间序列的某个子集(训练集)运行权重?
    • 我在想的另一件事是延迟窗口,即输入 x(t),x(t+1),x(t+2),目标输出是 x(t+3 ),这里的延迟窗口是 3。
    • 如果你只有一个时间序列,那么你需要指定其中的一部分(80% 是常规的)作为你的训练集,而不是使用另外 20% 来计算适应度GA。然后,您可以对剩余的 20% 进行测试。如果您对两者使用相同的数据,您将不知道您的算法是否真的学到了超出该确切系列的任何概括。延迟窗口听起来很有趣。显然,您需要为神经网络提供与延迟窗口大小相等的输入节点数量(加上一个偏置节点)。
    • 谢谢,我就是这么想的
    【解决方案2】:

    人工神经网络的工作描述:

    您的输入数据 (X1,X2,...) 进入框并使用选择的 w 进行计算,然后框将输出显示为我们的类。在这种情况下,您只有二进制数据,但如果您想设置其他数据,如 2,3,... 等,您必须使用此公式将输出范围设置在 0 和 1 之间:

    初始化权重 (w0, w1, ..., wk) 然后调整权重,使 ANN 的输出与训练样例的类标签一致:

    找到最小化上述目标函数的权重 wi

    因此您可以将 ANN 用于许多数据。

    例如数据的结果可以是这样的(以百分比显示):

    【讨论】:

    • 我不这么认为:RNN前馈过程与ANN不同
    猜你喜欢
    • 2018-10-30
    • 1970-01-01
    • 2020-05-20
    • 2020-09-10
    • 1970-01-01
    • 2014-02-24
    • 2015-04-17
    • 2011-04-07
    • 1970-01-01
    相关资源
    最近更新 更多