考虑数据框中的不同组计算行之间的日期差异答案

【问题标题】：Compute date difference between rows considering different groups inside dataframe考虑数据框中的不同组计算行之间的日期差异
【发布时间】：2017-05-26 21:17:42
【问题描述】：

我正在处理R 中应用于动物的治疗的一些信息。首先我想描述一下我的信息的结构（我将在最后添加dput() 版本）。我的数据是DF，它看起来像这样：

  Treatment_ID Start_Date      Valid
1         0031 2011-05-01 2011-05-30
2         0031 2011-05-01 2011-06-30
3         0045 2012-02-01 2012-03-01
4         0057 2012-04-01 2012-04-30
5         0057 2012-04-01 2012-05-30
6         0098 2012-10-01 2012-10-30

它有 56 行和三个变量Treatment_ID（5 种治疗）、Start_Date（治疗开始日期）和Valid（治疗结束日期）。例如，Treatment_ID0031 有两个观察结果，因为这从 2011 年 5 月开始，到 2011 年 6 月结束。然后一个新的处理 0045 从 2012 年 2 月开始，到 2012 年 3 月结束（只有一个观察结果）。相同的结构适用于DF 内的所有组。我需要使用某些条件计算每次治疗之间和每次治疗后的月差。我将使用前两种处理方法来展示这一点：

  Treatment_ID Start_Date      Valid
1         0031 2011-05-01 2011-05-30
2         0031 2011-05-01 2011-06-30
3         0045 2012-02-01 2012-03-01
4         0057 2012-04-01 2012-04-30

对于此示例，我有两行用于第一次处理，其中 Treatment_Id 变量相等。当发生这种情况时，必须计算变量 Valid 的月差。当出现新的治疗方法时，必须计算Start_Date 和Valid 之间的月差。请注意，当一个治疗有多个观察值时，差异是通过对该组中的观察使用Valid 变量来获得的，但是当Treatment_Id 发生变化时，因此必须使用Start_Date 和Valid 变量来获得差异。为了得到这个变量Break_Months，我使用了下一个结构：

DF$Break_Months=NA

for(i in c(2:(length(DF$Break_Months))))
{
  DF$Break_Months[i]=ifelse(DF$Treatment_ID[i]==DF$Treatment_ID[i-1],round(as.numeric(DF$Valid[i]-DF$Valid[i-1])/30,0),
                            round(as.numeric(DF$Start_Date[i]-DF$Valid[i-1])/30,0))
}

当Treatment_Id 相等时，此for 使用Valid 变量计算实际行与前一行之间的差异，当它们不同时，使用Start_Date 和Valid 计算差异。 Break_Months 的第一个值是 NA，因为没有要比较的先前值。使用前面几行代码时，问题出现在DF的末尾。

   Treatment_ID Start_Date      Valid Break_Months
47         0098 2012-10-01 2016-07-30            1
48         0098 2012-10-01 2016-08-31            1
49         0031 2016-09-01 2016-09-30            0
50         0031 2016-09-01 2016-10-30            1
51         0031 2016-09-01 2016-11-30            1
52         0031 2016-09-01 2016-12-30            1
53         0031 2016-09-01 2017-01-30            1
54         0031 2016-09-01 2017-03-02            1
55         0031 2016-09-01 2017-03-30            1
56         0012 2017-03-01 2017-03-30           -1

Treatment_Id0012 只有一个观察值，因为它是新的，并且Valid 的日期与最后一次观察到的治疗0031 相同。因为 Treatment_Id 0031 已在其他月份使用，所以使用治疗中的先前观察来计算差异。在0012 的情况下，这是不可能的，因为Valid 的日期与0031 和0012 的最后一次观察相同，因为它是新的，所以没有更多的观察。发生这种情况时，必须与0031 之前的组的最后一次观察进行比较，这是0098。通过使用由于0012 不等于0098 的概念，Break_Months 由2017-03-01 (Start_Date) 和2016-08-31 (Valid) 之间的差值计算得出6由 for 结构中的同一机制而不是 -1。

我的问题是关于如何将这一考虑纳入for。尝试执行此操作非常复杂，因为我不知道如何整合与日期相关的比较（如果它们与示例中相同）并在包含相同日期的组之前查找前一个组。我尝试使用dplyr 包中的lag 函数来避免for，但结果不一样。 dput() 的 DF 版本是下一个：

DF<-structure(list(Treatment_ID = c("0031", "0031", "0045", "0057", 
"0057", "0098", "0098", "0098", "0098", "0098", "0098", "0098", 
"0098", "0098", "0098", "0098", "0098", "0098", "0098", "0098", 
"0098", "0098", "0098", "0098", "0098", "0098", "0098", "0098", 
"0098", "0098", "0098", "0098", "0098", "0098", "0098", "0098", 
"0098", "0098", "0098", "0098", "0098", "0098", "0098", "0098", 
"0098", "0098", "0098", "0098", "0031", "0031", "0031", "0031", 
"0031", "0031", "0031", "0012"), Start_Date = structure(c(1304208000, 
1304208000, 1328054400, 1333238400, 1333238400, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 
1349049600, 1349049600, 1349049600, 1349049600, 1349049600, 1472688000, 
1472688000, 1472688000, 1472688000, 1472688000, 1472688000, 1472688000, 
1488326400), class = c("POSIXct", "POSIXt"), tzone = "UTC"), 
    Valid = structure(c(1306713600, 1309392000, 1330560000, 1335744000, 
    1338336000, 1351555200, 1354233600, 1356825600, 1359504000, 
    1362182400, 1364601600, 1367280000, 1369872000, 1372550400, 
    1375142400, 1377820800, 1380499200, 1383091200, 1385769600, 
    1388361600, 1391040000, 1393718400, 1396137600, 1398816000, 
    1401408000, 1404086400, 1412035200, 1414627200, 1417305600, 
    1419897600, 1422576000, 1425254400, 1427673600, 1432944000, 
    1435622400, 1440892800, 1443571200, 1446163200, 1448841600, 
    1451433600, 1454112000, 1456790400, 1459296000, 1461974400, 
    1464566400, 1467244800, 1469836800, 1472601600, 1475193600, 
    1477785600, 1480464000, 1483056000, 1485734400, 1488412800, 
    1490832000, 1490832000), class = c("POSIXct", "POSIXt"), tzone = "UTC")), .Names = c("Treatment_ID", 
"Start_Date", "Valid"), row.names = c(NA, -56L), class = "data.frame")

感谢您的帮助。

更新其中一种解决方案效果很好。现在，当我必须计算类似的变量时，我遇到了一个小问题。首先，我计算变量Elapsed，即Valid 和Start_Date 之间的差异。我使用下一个代码：

DF$Elapsed=round(as.numeric(DF$Valid-DF$Start_Date)/30,0)

然后，难题出现了。我必须计算接下来的两个变量Last1 和Last2。我为此使用下一个代码：

#Compute Last1
DF$Last1=NA
DF$Last1[1]=0
for(j in c(2:length(DF$Last1)))
{
  DF$Last1[j]=ifelse(DF$Treatment_ID[j]==DF$Treatment_ID[j-1],DF$Last1[j-1],
                     ifelse(DF$Treatment_ID[j]!=DF$Treatment_ID[j-1],DF$Elapsed[j-1],0))
}

代码部分起作用，因为我有一个与变量Break_Months 相关的类似问题。在这种情况下，因为0031 和0012 具有相同的Valid 值，所以Treatment_Id 的比较不能与0031 的最后一个值进行比较，因为循环的逻辑（变量@ 987654394@)。在这种情况下，正确的值是 48，因为必须与组 0098 的最后一次观察进行比较，然后我们得到 48。我尝试使用 last_obs_index 进行修改，但我无法得到正确的结果。

   Treatment_ID Start_Date      Valid Break_Months Elapsed Last1
47         0098 2012-10-01 2016-07-30            1      47     2
48         0098 2012-10-01 2016-08-31            1      48     2
49         0031 2016-09-01 2016-09-30            0       1    48
50         0031 2016-09-01 2016-10-30            1       2    48
51         0031 2016-09-01 2016-11-30            1       3    48
52         0031 2016-09-01 2016-12-30            1       4    48
53         0031 2016-09-01 2017-01-30            1       5    48
54         0031 2016-09-01 2017-03-02            1       6    48
55         0031 2016-09-01 2017-03-30            1       7    48
56         0012 2017-03-01 2017-03-30            6       1     7

对于变量Last2，我使用下面的代码：

#Compute Last2
DF$Last2=NA
DF$Last2[1]=0
for(k in c(2:length(DF$Last2)))
{
  DF$Last2[k]=ifelse(DF$Treatment_ID[k]==DF$Treatment_ID[k-1],DF$Last2[k-1],
                     ifelse(DF$Treatment_ID[k]!=DF$Treatment_ID[k-1],DF$Break_Months[k],0))
}

在这种情况下，它似乎有效，但事实并非如此。尽管 6 是正确的，但比较并没有很好地定义，因为 0012 和 0031 具有相同的 Valid 日期，最佳比较是使用 0098 组的最后一次观察。因此，@ 的值987654404@ 已分配。同样，我无法使用last_obs_index 定义的正确逻辑来修复循环。

   Treatment_ID Start_Date      Valid Break_Months Elapsed Last1 Last2
47         0098 2012-10-01 2016-07-30            1      47     2     4
48         0098 2012-10-01 2016-08-31            1      48     2     4
49         0031 2016-09-01 2016-09-30            0       1    48     0
50         0031 2016-09-01 2016-10-30            1       2    48     0
51         0031 2016-09-01 2016-11-30            1       3    48     0
52         0031 2016-09-01 2016-12-30            1       4    48     0
53         0031 2016-09-01 2017-01-30            1       5    48     0
54         0031 2016-09-01 2017-03-02            1       6    48     0
55         0031 2016-09-01 2017-03-30            1       7    48     0
56         0012 2017-03-01 2017-03-30            6       1     7     6

感谢这次的所有帮助，能否获得有关如何调整循环以正确进行比较的建议。

【问题讨论】：

根据您为Treatment_ID == 0045 提供的第一个也是唯一一个观察值的代码有Break_Months == 7，对于2012-02-01 和2012-03-01 之间的区别，那不应该是1 吗？那么for 循环在结尾之外的其他地方是否不起作用？
在样本数据中，治疗 0012 在治疗 0031 结束前整整一个月开始。那么最后一个条目的 -1 不是正确的结果吗？
亲爱的@johnckane @lebelinoz 在样本中，0012 和 0031 都对 2017-03-30 有效，当这种情况发生时，需要使用前一组 0098 的最后一次观察来完成差异。然后，作为 0012和 0098 不同，我们计算 Start_Date - Valid 给出 6 而没有其他值。这就是我循环中的问题。

标签： r dplyr

【解决方案1】：

这是一种使用一些额外的 dplyr 函数的方法，例如 lag 和 if_else。它计算出比较日期（保留在这里以进行完整性检查），从中减去之前的有效日期，然后转换为“月”的四舍五入数（30 天周期）。

library(dplyr)

  mutate(DF,
    comparison_date = if_else(Treatment_ID == lag(Treatment_ID), Valid, Start_Date),
    Break_Months = difftime(comparison_date, lag(Valid), units = "days"),
    Break_Months = as.numeric(round(Break_Months / 30)))

#>    Treatment_ID Start_Date      Valid comparison_date Break_Months
#> 1          0031 2011-05-01 2011-05-30            <NA>           NA
#> 2          0031 2011-05-01 2011-06-30      2011-06-30            1
#> 3          0045 2012-02-01 2012-03-01      2012-02-01            7
#> 4          0057 2012-04-01 2012-04-30      2012-04-01            1
#> 5          0057 2012-04-01 2012-05-30      2012-05-30            1
#> 6          0098 2012-10-01 2012-10-30      2012-10-01            4
#> 7          0098 2012-10-01 2012-11-30      2012-11-30            1
#> 8          0098 2012-10-01 2012-12-30      2012-12-30            1
#> 9          0098 2012-10-01 2013-01-30      2013-01-30            1
#> 10         0098 2012-10-01 2013-03-02      2013-03-02            1
...

【讨论】：

【解决方案2】：

要在for 循环中执行此操作，当Treatment_ID 的值与之前的观察结果不同时，您需要在计算中添加额外的条件。

如果Treatment_ID 的值与之前的观察值不同，则计算此观察值的Start_Date 与最近Treatment_ID 的最后一次观察值Valid 之间的差值，其中最后一个Valid 的值也不同。

为此，您需要知道DF 的索引，其中Treatment_ID 的值发生变化，Valid 的值发生变化。您将需要来自Hmisc 的Lag 函数

library(Hmisc)
new_obs_index <- which(DF$Treatment_ID != Lag(DF$Treatment_ID,1) & DF$Valid != Lag(DF$Valid))

这提供了新观察开始的索引，我们实际上想要在此之前的最后一个Treatment_ID 的最后一个观察的索引。

last_obs_index <- new_obs_index - 1

这些是Valid 的值的索引，它们满足Treatment_ID 的最后一次观察标准，因此Valid 的值在下一次观察中也会发生变化。

然后在for 循环中，当Treatment_ID 的值发生变化时，减去Start 与符合我们标准的最新Valid 值之间的差值。我们通过指定我们想要的来实现这一点

DF$Valid[last_obs_index[max(which(last_obs_index < i))]]

所以for 循环看起来像这样：

for(i in c(2:(length(DF$Break_Months)))){
  DF$Break_Months[i]=ifelse(DF$Treatment_ID[i]==DF$Treatment_ID[i-1],
round(as.numeric(DF$Valid[i]-DF$Valid[i-1])/30,0),round(as.numeric(DF$Start_Date[i]-DF$Valid[last_obs_index[max(which(last_obs_index < i))]])/30,0))
}

这会在 DF 中的最后一次观察中给出所需的结果。

   Treatment_ID Start_Date      Valid Break_Months
51         0031 2016-09-01 2016-11-30            1
52         0031 2016-09-01 2016-12-30            1
53         0031 2016-09-01 2017-01-30            1
54         0031 2016-09-01 2017-03-02            1
55         0031 2016-09-01 2017-03-30            1
56         0012 2017-03-01 2017-03-30            6

总的来说，实现的必要代码是

library(Hmisc)
new_obs_index <- which(DF$Treatment_ID != Lag(DF$Treatment_ID,1) & DF$Valid != Lag(DF$Valid))
last_obs_index <- new_obs_index - 1 
for(i in c(2:(length(DF$Break_Months)))){
DF$Break_Months[i]=ifelse(DF$Treatment_ID[i]==DF$Treatment_ID[i-1],round(as.numeric(DF$Valid[i]-DF$Valid[i-1])/30,0),round(as.numeric(DF$Start_Date[i]-DF$Valid[last_obs_index[max(which(last_obs_index < i))]])/30,0))
}

更新对于变量Last1，您可以使用向量last_obs_index 使用以下语法访问所需的值：

for(j in c(2:length(DF$Last1))){
DF$Last1[j]=ifelse(DF$Treatment_ID[j]==DF$Treatment_ID[j-1],DF$Last1[j-1],ifelse(DF$Treatment_ID[j]!=DF$Treatment_ID[j-1],DF$Elapsed[last_obs_index[max(which(last_obs_index < i))]],0))}

对于变量Last2，如果我理解正确，我认为您的实现将始终给出您想要的答案。我认为新的处理值足以使用Break_Months 的值，并且您也不需要Valid 的不同值来使用它。

【讨论】：

亲爱的@johnckane，您的解决方案对我有用。我会接受您的回答，但我进行了更新，因为我遇到了类似的问题，您使用的相同逻辑需要合并到新循环中。你能帮忙解决这个额外的问题吗？非常感谢。
刚刚更新了我的回复，我认为您不需要更改 Last2 变量的语法。
感谢@johnckane，但我想保留Last2 与last_obs_index 比较的相同逻辑，因为新的治疗方法可能会出现（两个以上）与相同的Valid日期。是否可以？你的解决方案太棒了。
是的，您能否提供一个数据示例，说明您目前所做的工作不起作用？我跟不上。
我稍后会添加一个例子@johnckane 同时我会接受你的回答。感谢您的帮助，我希望您可以通过新示例帮助我解决该问题。