获取关于 Keras ANN 模型中输入的梯度

Question

bce = tf.keras.losses.BinaryCrossentropy()
ll=bce(y_test[0], model.predict(X_test[0].reshape(1,-1)))
print(ll)
<tf.Tensor: shape=(), dtype=float32, numpy=0.04165391>
print(model.input)
<tf.Tensor 'dense_1_input:0' shape=(None, 195) dtype=float32>
model.output
<tf.Tensor 'dense_3/Sigmoid:0' shape=(None, 1) dtype=float32>
grads=K.gradients(ll, model.input)[0]
print(grads)
None

所以我在这里训练了一个 2 个隐藏层的神经网络，输入有 195 个特征，输出是 1 个大小。我想用 y_test 中的正确标签一个一个地为神经网络提供名为 X_test 的验证实例，并为每个实例计算输出相对于输入的梯度，打印时的毕业生给我一个无。感谢您的帮助。

Answer 1

可以使用tf.GradientTape 完成此操作。我编写了以下代码来学习正弦波，并本着this question 的精神得到它的导数。我认为，应该可以扩展以下代码以计算偏导数。
导入所需的库：

import numpy as np
from tensorflow.keras.layers import Dense, Input
from tensorflow.keras.models import Model, Sequential
from tensorflow.keras.optimizers import Adam
from tensorflow.keras import losses
import tensorflow as tf

创建数据：

x = np.linspace(0, 6*np.pi, 2000)
y = np.sin(x)

定义一个 Keras NN：

def model_gen(Input_shape):
    X_input = Input(shape=Input_shape)
    X = Dense(units=64, activation='sigmoid')(X_input)
    X = Dense(units=64, activation='sigmoid')(X)
    X = Dense(units=1)(X)
    model = Model(inputs=X_input, outputs=X)
    return model

训练模型：

model = model_gen(Input_shape=(1,))
opt = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, decay=0.001)
model.compile(loss=losses.mean_squared_error, optimizer=opt)
model.fit(x,y, epochs=200)

获得网络w.r.t的梯度。输入：

x = list(x)
x = tf.constant(x)
with tf.GradientTape() as t:
  t.watch(x)
  y = model(x)

dy_dx = t.gradient(y, x)

dy_dx.numpy()

可以进一步可视化 dy_dx 以确保导数的平滑程度。最后，请注意，当使用平滑激活（例如 sigmoid）而不是 here 中提到的 Relu 时，会得到更平滑的导数。