输出具有外部非线性函数的神经网络

Question

我有兴趣在一个可能不寻常的环境中尝试 NN。

NN 的输入是一个向量。输出也是一个向量。然而，训练数据和误差不是直接在这个输出向量上计算的，而是这个输出向量的一个（非线性）函数。所以在每个时期，我需要激活 NN，找到一个输出向量，将其应用于我的（外部）非线性函数以计算一个新的输出向量。但是，这个新的输出向量的长度为 1，并且仅根据这个单一输出计算误差。

一些问题：

1. 这是 NN 可能有用的事情吗？
2. 这是一个众所周知的结构吗？
3. 有什么想法可以解决这个问题吗？

Answer 1

1. 原则上是的。

2. 是的，这就是 softmax 单元的作用。它在输出层获取激活值并从中计算单个值，然后用于计算误差。

3. 您需要知道多元函数的偏导数（我们称之为 f）。从那里，您可以使用链式法则计算 f 参数中误差的导数并反向传播误差导数。