使用输入之一最小化 Tensorflow 回归模型的输出

Question

我正在尝试使用 this 指南训练 Tensorflow 模型，目的是使用深度神经网络 (Tensorflow) 解决优化问题。到目前为止，我的模型需要 9 个输入并产生 1 个输出。

我现在要做的是在一个应用程序中使用它，目标是在其他输入值固定的情况下通过调整一个输入值来最小化输出值。

例如，让我们表示输入值x1, x2, ..., x10 和输出y。给定x2, x3, ..., x10 的值，最小化输出y 的x1 的值是多少？有关我的问题的直观描述，请参见下图。

我使用 Keras 训练了一个网络并将其保存为 variable.data-00000-of-00001 和 variables.index 文件，并使用 tf.keras.models.load_model 加载它。

我当前的代码是一个超慢的“硬编码”优化函数，它依赖于通过迭代 x1 值并通过网络运行它们来将值附加到列表中，将每个输出附加到列表中，并观察生成了哪个 x1 值最低的输出。这显然不是一个很好的解决方案。请参阅下面的代码。

for index, row in input_df.iterrows():
    prediction = model.predict(row[['x1', 'x2', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x9']]).flatten()
    prediction = float(prediction)
    X1_predictions.ayend(prediction)

    # Optimized x1
    x1_values = []
    y_pred_values = []
    for x1 in np.arange(-1, 0, 0.01):
        row['x1'] = x1
        x1_values.append(x1)
        y_prediction = y_model.predict(row[['x1', 'x2', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x9']]).flatten()
        y_prediction = float(y_prediction)
        y_pred_values.ayend(y_prediction)

    min_y_val = min(y_pred_values)
    min_y_idx = y_pred_values.index(min(y_pred_values))
    opt_x1 = x1_values[min_y_idx]

    x1_opt_list.ayend(opt_x1)
    y_opt_predictions.ayend(min_y_val)

我以前没有使用过这样的 TF 回归模型，我应该如何使用 Tensorflow/Keras 而不是列表和 for 循环以更优雅的方式解决这个问题？

Answer 1

我可以给你一个粗略的例子，说明如何用 tensorflow 解决优化问题。

假设您有一个特定的函数，并希望根据一些基本事实 y 优化该函数的输入。我们称该函数为my_funct。 （在你的情况下，这将是一个冻结的神经网络）。在我的示例中，我将采用一个简单的函数，例如 sum ：

@tf.function
def my_funct(inp):
    return tf.reduce_sum(inp)

现在，让我们定义一个输入和一个基本事实。在那个优化问题中，我的基本事实是输入的总和 + 1。所以在优化结束时，我的变量 x1 应该等于 x1 +1

inp = tf.random.normal((9,))
y_true = tf.reduce_sum(inp) + 1

现在，您需要在tf.Variable 中编码您想要优化的值（在您的示例中为x1）。这是 TensorFlow 跟踪需要优化的状态的方式。在我们的例子中，x1 是我们输入的第一个值。

x1 = tf.Variable(inp[0])

让我们自己开始优化。我们需要：

• 成本函数，它将告诉我们距离目标有多远
• 一种优化器，一种用于修改程序状态从而降低成本函数的算法。

在这种情况下，我将使用梯度下降优化器和均方误差作为目标函数，但还有很多其他可能更适合您的问题。

opt = tf.optimizers.SGD()
cost = tf.losses.mse

然后，我们可以使用 TensorFlow 自行编写优化。为此，我们需要计算成本函数相对于状态的梯度，并将其提供给优化器，以便优化器可以在正确的方向上修改状态，以最小化我们的成本。

可以这样做：

STEPS = 200
for _ in range(STEPS):
    with tf.GradientTape() as tape:
        tape.watch(x1)
        y_pred = my_funct(tf.concat([[x1], inp[1:]], axis=0))
        loss = cost([y], [y_pred])
    grad = tape.gradient(loss, [x1])
    opt.apply_gradients(zip(grad, [x1]))

将tf.Variable 与其余输入一起处理有点麻烦，就像我处理tf.concat 一样。可能有一种更优雅的方法，但我不想过度设计这个简单的例子。

在该过程结束时，我们应该有接近 x1=inp[0] + 1 的东西 让我们检查一下：

>>> inp[0] + 1
<tf.Tensor: shape=(), dtype=float32, numpy=2.5110626>
>>> x1
<tf.Variable 'Variable:0' shape=() dtype=float32, numpy=2.4934747>

还不错！

注意： 在这些问题中，您可以调整一些超参数以获得更快、更好的结果，例如步数、学习率等。