用于求解简单方程的张量流 keras 模型

Question

我正在尝试了解如何创建一个可以预测简单函数值的简单 tensorflow 2.2 keras 模型：

f(a, b, c, d) = a < b : max(a/2, c/3) : max (b/2, d/3)

我知道这个确切的问题可以简化为一个分类，但我的目的是找到一种建立模型的好方法，该模型可以估计值并在以后越来越复杂的条件下基于该模型构建越来越多的函数在。 首先，我偶然发现了为什么一个简单的函数能这么难。

为了在我创建的模型上使用 tensorflow：

def generate_input(multiplier):
    return np.random.rand(1024 * multiplier, 4) * 1000


def generate_output(input):
    def compute_func(row):
        return max(row[0]/2, row[2]/3) if row[0] < row[1] else max(row[1]/2, row[3]/3)

    return np.apply_along_axis(compute_func, 1, input)


for epochs in range(0, 512):
    # print('Generating data...')
    train_input = generate_input(1000)
    train_output = generate_output(train_input)

    # print('Training...')
    fit_history = model.fit(
        train_input, train_output,
        epochs=1,
        batch_size=1024
    )

我尝试了不同的模型，这些模型更简单或更复杂，但我仍然没有得到很好的转换。 例如一个简单的线性：

input = Input(shape=(4,))
layer = Dense(8, activation=tanh)(input)
layer = Dense(16, activation=tanh)(layer)
layer = Dense(32, activation=tanh)(layer)
layer = Dense(64, activation=tanh)(layer)
layer = Dense(128, activation=tanh)(layer)
layer = Dense(32, activation=tanh)(layer)
layer = Dense(8, activation=tanh)(layer)
output = Dense(1)(layer)

model = Model(inputs=input, outputs=output)
model.compile(optimizer=Adam(), loss=mean_squared_error)

您能否指出解决此类条件函数应遵循的方向？

还是我错过了一些预处理？

Answer 1

1. 老实说，你有一个非常深的模型，因此你没有足够的数据来训练。我认为你不需要那么深的架构。

2. 你的问题定义不是我会做的。您实际上不希望在输出处生成最大值，但您希望选择最大值，对吗？如果是这种情况，我会在我的设计中使用多类分类而不是回归问题。也就是说，我会使用output = Dense(4)(layer,activation=softmax) 作为最后一层，在我的优化器中，我会使用分类交叉熵。当然，在输出生成中，您需要设法返回一个包含 3 个 0 和 1 个 1 的数组，如下所示：

定义计算函数（行）：

ret_value=[0,0,0,0]
if row[0] < row[1]:
    if row[0] < row[2]:
        ret_value[2]=1
    else:
        ret_value[0]=1
else:
    if row[1]< row[3]:
        ret_value[3]=1
    else:
        ret_value[1]=1
    
return ret_value