python neurolab - 我们可以用许多输入部分增量训练吗？答案

【问题标题】：python neurolab - Can we train incrementally with many input parts?python neurolab - 我们可以用许多输入部分增量训练吗？
【发布时间】：2018-05-26 07:27:22
【问题描述】：

我正在使用神经实验室来解决机器学习分类问题，链接：-http://code.google.com/p/neurolab/

我的问题是，我们可以增量训练神经网络吗？

为了进一步解释，我有三部分输入数据，我想通过

来训练神经网络

e = net.train(input_part1, output_part1, show=1, epochs=100, goal=0.0001)
e = net.train(input_part2, output_part2, show=1, epochs=100, goal=0.0001)
e = net.train(input_part3, output_part3, show=1, epochs=100, goal=0.0001)

前两部分的火车呼叫是否能有效预测神经网络参数 - 或者 - 这会只使用最后的训练数据吗？

【问题讨论】：

为什么不使用主流库之一？ Scikit-learn、Keras、PyTorch 等......其中许多都有明确的模型实例，并且能够逐步训练它的权重。

标签： python neural-network

【解决方案1】：

通常，您会将所有数据一起添加到一个数据集中，并在此训练集上训练网络。训练是指设置权重。为什么不将所有输入（part1、part2、part3）添加到一个数据集中？请注意，有些技术中学习和重新调整是学习算法的一部分。如果你想做一个简单的算法，你有一个训练周期和一个性能周期。

【讨论】：

感谢您的回复。是的。我可以合并输入的所有部分。但问题是个别部分本身非常大，所以我担心在合并它们后我什至无法加载数据进行训练。如果有办法请帮助我？
文件有多大？您可以合并文件。如果你想为每个训练集添加权重，那将很困难。您可以输出权重并查看问题是否是累加的？您是否尝试过仅使用一部分的测试数据？如果您要使用千兆字节的样本，我不确定这是否可行。这是文字吗？顺便说一句，如果可以的话，在 stackoverflow 上接受问题的答案是一种网络礼仪。干杯。
看来，数据大小是你的实际问题。你可以使用 numpy.memmap。它在内存中模拟一个数组，但数据实际上保留在磁盘上。