survfit() 为区间删失数据生成的难以置信的宽置信区间答案

【问题标题】：Implausibly wide confidence intervals produced by survfit() for interval censored datasurvfit() 为区间删失数据生成的难以置信的宽置信区间
【发布时间】：2020-05-04 23:50:25
【问题描述】：

我有一些数据是由间歇性访谈产生的，其中询问个人是否正在经历某种症状。上一次知道每个人没有有这种特殊症状的时间，表示为tstart。如果适用，观察到个体出现症状的时间是tstop。使用 R 中的 survival 包，使用 Surv 函数创建生存对象，指定这是区间删失数据。我想要生存函数的非参数最大似然估计。这可以使用survfit 函数来完成，该函数似乎将调用传递给内部函数survfitTurnbull。由此产生的置信区间非常宽。我无法弄清楚为什么会这样。

# A random sample of the data using dput()
structure(list(tstart = c(0.01, 38, 0.01, 0.01, 23, 26, 0.01, 
19, 0.01, 0.01, 22, 6, 0.01, 14, 16, 0.01, 0.01, 0.01, 0.01, 
21, 15, 0.01, 0.01, 13, 10, 0.01, 0.01, 19, 0.01, 0.01, 0.01, 
0.01, 22, 17, 27, 14, 16, 0.01, 20, 27, 10, 0.01, 0.01, 16, 20, 
7, 6, 15, 0.01, 0.01), tstop = c(4.01, NA, 5.01, 8.01, NA, NA, 
5.01, NA, 3.01, 16.01, NA, 6.01, 8.01, NA, NA, 7.01, 16.01, 1.01, 
10.01, NA, NA, 5.01, 8.01, NA, NA, 2.01, 3.01, NA, 7.01, 5.01, 
2.01, 9.01, NA, NA, NA, NA, NA, 10.01, NA, NA, NA, 5.01, 10.01, 
NA, NA, NA, 7.01, NA, 14.01, 4.01)), row.names = c(NA, -50L), class = "data.frame")

survObj <- with(temp_df, Surv(time = tstart, time2 = tstop, type = "interval2"))
survFit <- survfit(SurvObj ~ 1))
summary(survFit)

置信区间不会随时间变窄。使用整个数据集（它包含大约 10 倍的事件数）并没有更窄。我无法弄清楚出了什么问题。

【问题讨论】：

标签： r survival-analysis survival

【解决方案1】：

就其价值而言，这看起来不像是 软件中的错误，而是使用像非参数最大似然估计器（NPMLE，也称为Turnbull 估计器，survfit 适合，如果你给它区间删失数据）来估计生存曲线。这个答案的 TLDR 版本是我建议您使用参数模型，例如 Weibull，使用 survival::survreg、icenReg::ic_par 或 icenReg::ic_bayes。承认偏见：我是 icenReg 的作者。

关于 NPMLE 的一个有点技术性但非常相关的说明是，它仅将正概率质量分配给 Turnbull 区间，这些区间定义为区间的左侧是某个观察区间的左侧，而右侧是某个观察区间的左侧。 Turnbull 区间是 any 的观察区间的下一个最近的右侧。为了说明，我绘制了您的观察区间和相应的 Turnbull 区间。

请注意，最后两个 Turnbull 区间之间存在巨大差距！这导致了一个非常“跳跃”的 NPMLE，这也导致了跳跃之间的相当多的错误。

在花了 长时间 时间思考这个问题之后，我的快速总结是，这是由于只有少量信息数据和过多的灵活性造成的。在大多数生存分析案例中，假设平滑的生存曲线是合理的，例如参数分布。只要分布不是过于严格（阅读：单参数指数分布），这种温和的平滑假设可以让您从数据中获得更多信息，而不会引入太多的偏差。

为了说明，我附上了 Weibull 拟合 + 置信区间的图以及旁边的拟合 NPMLE。

仅供参考，您在 NPMLE 中看到的框不是置信区间，而是 NPMLE 的唯一性仅取决于分配给每个 Turnbull 区间的概率，但 如何概率分布在区间内不会影响对数似然。因此，任何通过该框的生存曲线都会使对数似然最大化。

【讨论】：