回归问题：如何解决高度十进制输入特征的问题 [关闭]

Question

我有以下输入数据结构：

   X1     |    X2     |    X3     | ... | Output (Label)
118.12341 | 118.12300 | 118.12001 | ... | [a value between 0 & 1] e.g. 0.423645

我使用tensorflow 来解决这里的回归问题，即预测Output 变量的未来值。为此，我构建了一个前馈神经网络，它具有三个隐藏层，具有relu 激活函数和一个最终输出层，其中一个节点为linear activation。该网络使用 adam 优化器进行反向传播训练。

我的问题是，在对网络进行了数千次训练后，我意识到输入特征和输出中的 高度十进制 值，导致预测仅接近小数点后第二位，例如：

Real value = 0.456751 | Predicted value = 0.452364

但是这是不被接受的，我需要精确到小数点后第四位（至少）才能接受该值。

问：是否有任何值得信赖的技术来正确解决这个问题以获得更好的结果（可能是转换算法）？

提前致谢。

Answer 1

假设您使用的是常规 MSE 损失，这可能不适合您对每个实例的错误容忍度相对较低的目的。详细地说，MSE 定义如下the average of the the square of the differences between the predicted and true outputs。

假设您有 4 个实例和两个经过训练的函数，每个实例都会产生以下错误：

F1 错误率：(4,.0004, .0002, .0002)

F2 错误率：(.9, .9, .9, .9)

很明显，MSE 将适用于 F2，因为平均 MSE 为 0.81，而 F1 的平均 MSE 约为 16。

因此，总而言之，MSE 对 square 函数，它夸大了大于 1 的较大差异的权重。

您可以尝试 MAE，它代表 MEAN ABSOLUTE ERROR，唯一的区别是它不对单个误差执行平方函数，而是计算绝对误差。还有许多其他回归损失可能会显着影响较小的错误，例如具有小 delta (HUBER 损失，您可以阅读有关这些损失的更多信息 here。

另一种可能的解决方案是将其转换为分类问题，如果预测与输出到小数点后 4 位完全相同，则预测为真，否则为假。