【发布时间】：2016-05-23 13:58:24
【问题描述】：
目前，我正在处理预测问题。我有一个使用线性函数来表示输入和输出数据的参考。
y = po + p1.x1 + p2.x2
x1 和 x2 都是已知输入； y 是输出； p0、p1 和 p2 是系数。然后，他使用所有训练数据和最小二乘估计（LSE）方法找到最优系数（p0，p1，p2）来构建模型。
我的问题是，如果他已经使用了 LSE 算法，我可以尝试通过使用任何优化算法（例如 PSO 或 GA）来改进他的方法以尝试找到更好的系数值吗？
【问题讨论】：
-
数据集的大小是多少？如果它不是很大，你可能有最佳解决方案。
-
不算太大，训练用200左右，测试用50左右。有没有其他方法可以改进方法？
-
您正在尝试最小化损失函数。对于最小二乘，它是一个二次损失函数并且具有很好的特性（可微分）。所以，是的，对于这种大小的数据集，这些系数的误差最小，这是肯定的。如果您定义了自己的难以最小化的损失函数（非凸、约束等），您可以尝试 GA 或其他启发式方法，但对于这种情况，它无济于事。如果您想进一步减少错误，您应该专注于改进您的模型（添加新变量等）。使用此模型，这就是您将得到的均方误差。
-
感谢您的回答！到时候我会努力改进我的模型。
标签： optimization regression forecasting