CNN 模型的权重非常小，在 NaN 之后

Question

直到NaN 在训练期间，我无法理解为什么跟随模型的权重越来越小。

型号如下：

def initialize_embedding_matrix(embedding_matrix):
    embedding_layer = Embedding(
        input_dim=embedding_matrix.shape[0],
        output_dim=embedding_matrix.shape[1],
        weights=[embedding_matrix],
        trainable=True)
    return embedding_layer

def get_divisor(x):
    return K.sqrt(K.sum(K.square(x), axis=-1))


def similarity(a, b):
    numerator = K.sum(a * b, axis=-1)
    denominator = get_divisor(a) * get_divisor(b)
    denominator = K.maximum(denominator, K.epsilon())
    return numerator / denominator


def max_margin_loss(positive, negative):
    loss_matrix = K.maximum(0.0, 1.0 + negative - Reshape((1,))(positive))
    loss = K.sum(loss_matrix, axis=-1, keepdims=True)
    return loss


def warp_loss(X):
    z, positive_entity, negatives_entities = X
    positiveSim = Lambda(lambda x: similarity(x[0], x[1]), output_shape=(1,), name="positive_sim")([z, positive_entity])
    z_reshaped = Reshape((1, z.shape[1].value))(z)
    negativeSim = Lambda(lambda x: similarity(x[0], x[1]), output_shape=(negatives_titles.shape[1].value, 1,), name="negative_sim")([z_reshaped, negatives_entities])
    loss = Lambda(lambda x: max_margin_loss(x[0], x[1]), output_shape=(1,), name="max_margin")([positiveSim, negativeSim])
    return loss

def mean_loss(y_true, y_pred):
    return K.mean(y_pred - 0 * y_true)

def build_nn_model():
    wl, tl = load_vector_lookups()
    embedded_layer_1 = initialize_embedding_matrix(wl)
    embedded_layer_2 = initialize_embedding_matrix(tl)

    sequence_input_1 = Input(shape=(_NUMBER_OF_LENGTH,), dtype='int32',name="text")
    sequence_input_positive = Input(shape=(1,), dtype='int32', name="positive")
    sequence_input_negatives = Input(shape=(10,), dtype='int32', name="negatives")

    embedded_sequences_1 = embedded_layer_1(sequence_input_1)
    embedded_sequences_positive = Reshape((tl.shape[1],))(embedded_layer_2(sequence_input_positive))
    embedded_sequences_negatives = embedded_layer_2(sequence_input_negatives)

    conv_step1 = Convolution1D(
        filters=1000,
        kernel_size=5,
        activation="tanh",
        name="conv_layer_mp",
        padding="valid")(embedded_sequences_1)

    conv_step2 = GlobalMaxPooling1D(name="max_pool_mp")(conv_step1)
    conv_step3 = Activation("tanh")(conv_step2)
    conv_step4 = Dropout(0.2, name="dropout_mp")(conv_step3)
    z = Dense(wl.shape[1], name="predicted_vec")(conv_step4) # activation="linear"

    loss = warp_loss([z, embedded_sequences_positive, embedded_sequences_negatives])
    model = Model(
        inputs=[sequence_input_1, sequence_input_positive, sequence_input_negatives],
        outputs=[loss]
        )
    model.compile(loss=mean_loss, optimizer=Adam())
    return model

model = build_nn_model()
x, y_real, y_fake = load_x_y()
    X_train = {
    'text': x_train,
    'positive': y_real_train,
    'negatives': y_fake_train
}

model.fit(x=X_train,  y=np.ones(len(x_train)), batch_size=10, shuffle=True, validation_split=0.1, epochs=10)

稍微描述一下模型：

• 我有两个预训练的嵌入 (wl,tl)，并使用这些值初始化 Keras 嵌入。
• 有 3 个输入。 sequence_input_1 有整数作为输入（词的索引。例如[42, 32 .., 4]）。在它们上sequence.pad_sequences(X, maxlen=_NUMBER_OF_LENGTH) 用于具有固定长度。 sequence_input_positive 是正输出的整数，sequence_input_negatives 是每个示例的 N 个随机负输出（上面代码中的 10）。
• max_margin_loss 测量cosinus_similarity(positive_example, sequence_input_1) 和cosinus_similarity(negative_example[i], sequence_input_1) 之间的差异，Adam 优化器用于最小化损失。

在训练此模型时，即使只有 20 个数据点，Convolution1D 和 Dense 中的权重也会变为 NaN。如果我添加更多数据点，嵌入权重也会变为 NaN。我可以观察到，随着模型的运行，权重会越来越小，直到达到 NaN。值得注意的是，损失并没有归于 NaN。当权重达到 NaN 时，损失为零。

我找不到问题所在。

这是我到目前为止所尝试的：

• 我看到人们在使用铰链损失时使用随机梯度下降。使用 SGD 优化器并没有改变这里的行为。
• 更改了批量大小的数量。行为没有变化。
• 检查输入数据没有nan 值。
• 归一化输入矩阵（预训练数据）以使用np.linalg.norm进行嵌入
• 将预训练矩阵从float64 转换为float32

您在模型的架构中看到什么奇怪的地方吗？如果不是：我无法找到调试架构的方法，以了解为什么权重越来越小直到达到 NaN。人们在注意到这种行为时是否采取了一些措施？

编辑：

通过在嵌入中使用trainable=False，不会观察到nan 权重的这种行为，并且训练似乎具有平滑的结果。但是我希望嵌入是可训练的。那么当嵌入是可训练的时候为什么会出现这种行为呢？

编辑2：

使用trainable=True 并通过均匀随机初始化权重embeddings_initializer='uniform' 训练很顺利。所以发生的原因是我的词嵌入。我检查了我的预训练词嵌入，没有 NaN 值。我也对它们进行了规范化，以防万一这是导致它的原因，但并不缺乏。想不出为什么这些特定的权重会产生这种行为。

编辑3：

似乎造成这种情况的原因是在 gensim 中训练的嵌入之一中的很多行都为零。例如。

[0.2, 0.1, .. 0.3],
[0.0, 0.0, .. 0.0],
[0.0, 0.0, .. 0.0],
[0.0, 0.0, .. 0.0],
[0.2, 0.1, .. 0.1]

要找到它并不容易，因为嵌入的维度非常大。

如果有人提出类似的问题或想回答上面提出的问题，我将保留这个问题：“人们在注意到这种行为时是否正在使用一些步骤？”

Answer 1

通过您的修改，发现问题变得更容易了。

那些零原封不动地传递给warp_loss 函数。 经过卷积的部分一开始保持不变，因为任何过滤器乘以零都会导致零，并且默认的偏差初始化器也是'zeros'。同样的想法适用于密集（过滤器 * 0 = 0 和偏置初始化器 = 'zeros'）

到达这一行：return numerator / denominator 并导致错误（除以零）

我在许多代码中看到添加K.epsilon() 以避免这种情况的常见做法：

return numerator / (denominator + K.epsilon())