【问题标题】:How to verify structure a neural network in keras model?如何在 keras 模型中验证神经网络的结构?
【发布时间】:2017-08-25 15:33:02
【问题描述】:

我是 Keras 和神经网络的新手。我正在写一篇论文并尝试在 Keras 中创建一个 SimpleRNN,如下图所示:

如图所示,我需要创建一个具有 4 个输入 + 2 个输出的模型,并且在隐藏层中具有任意数量的神经元。

这是我的代码:

model = Sequential()

model.add(SimpleRNN(4, input_shape=(1, 4), activation='sigmoid', return_sequences=True))
model.add(Dense(2))
model.compile(loss='mean_absolute_error', optimizer='adam')
model.fit(data, target, epochs=5000, batch_size=1, verbose=2)

predict = model.predict(data)

1) 我的模型是否实现了图表?
2)是否可以指定神经元输入和隐藏层或输出和输入层之间的连接?

解释:

我将使用反向传播来训练我的网络。 我有输入和目标值

输入是一个 10*4 的数组,目标是一个 10*2 的数组,然后我对其进行整形:

input = input.reshape((10, 1, 4))
target = target.reshape((10, 1, 2))

能够指定神经元之间的连接至关重要,因为它们可能不同。例如,这里可以举个例子:

【问题讨论】:

  • 您打算重复该循环连接多少次?
  • 我想从 1 次重复开始,但是当我详细了解代码以便评估我的脚本的性能时,我想尝试几个延迟
  • 在你的新图片中,我看到 5 个输入和一个没有任何输入的神经元,真的是这样吗?我很困惑,因为您说的是 4 个输入。 (-W 是什么意思,负权重?)
  • 我修改了我的图片只是为了不让你感到困惑,但我论文的主要任务是创建一个可以根据描述生成NN的脚本,例如{ A
  • 我正在尝试想办法将其放入 RNN 案例中,但这只有在我们有“序列”时才可行。 1 - 你有“预期输出序列”吗?您的预期输出到底是什么? /// 2 - 你打算“训练”这个模型吗?为了达到预期的结果,权重是否应该改变?或者您是否使用始终已知的权重?

标签: python neural-network keras


【解决方案1】:

1) 不是真的。但是我不确定您在该图中到底想要什么。 (让我们看看下面的 Keras 循环层是如何工作的)

2) 是的,可以将每一层连接到每一层,但你不能为此使用Sequential,你必须使用Model

这个答案可能不是您想要的。你到底想达到什么目的?你有什么样的数据,你期望什么样的输出,模型应该做什么?等等……


1 - 循环层如何工作?

Documentation

keras 中的循环层使用“输入序列”,可以输出单个结果或序列结果。它的 recurrency 完全包含在其中,不与其他层交互。

您应该有形状为(NumberOrExamples, TimeStepsInSequence, DimensionOfEachStep) 的输入。这意味着input_shape=(TimeSteps,Dimension)

循环层将在每个时间步内部工作。循环一步一步发生,这种行为是完全不可见的。该层似乎与任何其他层一样工作。

这似乎不是你想要的。除非您有要输入的“序列”。我知道是否在 Keras 中使用与您的图形相似的循环层的唯一方法是当您有一段序列并想要预测下一步时。如果是这种情况,请通过在 Google 中搜索“预测下一个元素”来查看 examples

2 - 如何使用模型连接层:

不要将层添加到顺序模型(始终遵循直线),而是从输入张量开始独立使用层:

from keras.layers import *
from keras.models import Model

inputTensor = Input(shapeOfYourInput) #it seems the shape is "(2,)", but we must see your data.    

#A dense layer with 2 outputs:
myDense = Dense(2, activation=ItsAGoodIdeaToUseAnActivation)


#The output tensor of that layer when you give it the input:
denseOut1 = myDense(inputTensor)

#You can do as many cycles as you want here:
denseOut2 = myDense(denseOut1)

#you can even make a loop:
denseOut = Activation(ItsAGoodIdeaToUseAnActivation)(inputTensor) #you may create a layer and call it with the input tensor in just one line if you're not going to reuse the layer
    #I'm applying this activation layer here because since we defined an activation for the dense layer and we're going to cycle it, it's not going to behave very well receiving huge values in the first pass and small values the next passes....
for i in range(n):
    denseOut = myDense(denseOut)

如果您尊重形状规则,这种用法允许您创建任何类型的模型,包括分支、替代方式、从任何地方到任何地方的连接。对于这样的循环,输入和输出必须具有相同的形状。

最后,您必须定义一个从一个或多个输入到一个或多个输出的模型(您必须有训练数据来匹配您选择的所有输入和输出):

model = Model(inputTensor,denseOut)

但请注意,此模型是静态的。如果要更改周期数,则必须创建一个新模型。

在这种情况下,就像重复循环步骤denseOut = myDense(denseOut) 并创建另一个model2=Model(inputTensor,denseOut) 一样简单。


3 - 尝试创建如下图所示的内容:

我假设 C 和 F 将参与所有迭代。如果没有,

由于有四个实际输入,我们将分别处理它们,让我们创建 4 个输入来代替,都像 (1,)。 你的输入数组应该被分成 4 个数组,都是 (10,1)。

from keras.models import Model
from keras.layers import *

inputA = Input((1,))
inputB = Input((1,))
inputC = Input((1,))
inputF = Input((1,))

现在层 N2 和 N3,将只使用一次,因为 C 和 F 是恒定的:

outN2 = Dense(1)(inputC)
outN3 = Dense(1)(inputF)

现在是循环层 N1,还没有给它张量:

layN1 = Dense(1)

对于循环,让我们创建 outA 和 outB。它们从实际输入开始,将被提供给 N1 层,但在循环中它们将被替换

outA = inputA   
outB = inputB

现在在循环中,让我们“通过”:

for i in range(n):
    #unite A and B in one 
    inputAB = Concatenate()([outA,outB])

    #pass through N1
    outN1 = layN1(inputAB)

    #sum results of N1 and N2 into A
    outA = Add()([outN1,outN2])

    #this is constant for all the passes except the first
    outB = outN3 #looks like B is never changing in your image.... 

现在的模型:

finalOut = Concatenate()([outA,outB])
model = Model([inputA,inputB,inputC,inputF], finalOut)

【讨论】:

  • 非常感谢 Daniel 提供的示例和解释!如果可能的话,你能否展示如何添加偏差和权重,否则我会浪费额外的时间来找到它:)
  • model.layers 中的每一层都有get_weights()set_weights(wgts) 方法。它们将是一个包含[weights,biases] 的列表。检查get_weights()中的形状。
  • 如果你想逐个神经元分离连接,我建议你创建许多层,每个层只有一个神经元。当您尝试使用单个神经元时,Keras 根本不会友好。 (其实它们并不是单独存在的,每层只有一些权重矩阵)。
  • 嗯..有趣的想法,但我怕我会卡在那里))
  • 您可以在model.layers[i].trainable=False 中使层可训练或不可训练,但无法将偏差与权重分开。也许您应该复制每一层,将它们全部设为use_bias=False。其中一半将是权重层。另一半将是偏置层,您将始终为其提供相同的输入 = 1。---然后您可能希望使权重层不可训练并保持偏置层可训练。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-12-31
  • 2022-06-15
  • 1970-01-01
  • 1970-01-01
  • 2010-10-03
相关资源
最近更新 更多