如何估计非线性回归的置信度？答案

【问题标题】：How to estimate confidence of nonlinear regression?如何估计非线性回归的置信度？
【发布时间】：2016-07-28 19:04:13
【问题描述】：

我使用Levenberg -- Marquardt algorithm 将我的非线性函数f(x,b) (x:Nx1, b:Mx1) 拟合到数据X:NxK。

现在我想估计解决方案 b 的优度（置信度）。

This post 说我不应该尝试在非线性情况下找到 R 平方。那我该怎么办？是否有任何可靠的通用指标？我无法通过谷歌搜索任何答案。

【问题讨论】：

你提到的帖子底部有一个建议 - 回归的标准误差。
@RandomGuy 但是如果X 的某些参数bi 在解决方案b 中对f(x,b) 的影响很小呢？那么 S 可以低，但bi 估计会很差。
@RandomGuy 考虑这个例子：f(x,b) = x1 * b1 + ...。如果x1=0，那么f(x,b)可以接近于零，但b1根本无法估计。

【解决方案1】：

标准误差通常计算为：

s.e. = sigma^2 inv(J'J)

或作为

s.e. = sigma^2 inv(H)

在哪里

J : Jacobian matrix
H : Hessian matrix
sigma^2 = SSE/df = sum of squared errors / (n-p)

置信区间是

b +- s.e. * t(n-p,alpha/2)

其中 t 是学生 t 分布的临界值

【讨论】：