【问题标题】:Fill missing values in time series using previous day data - R使用前一天的数据填充时间序列中的缺失值 - R
【发布时间】:2021-07-01 02:32:41
【问题描述】:

我有一个数据框,其中每一行是不同的日期,每一列是不同的时间序列。
表中的日期范围是 01.01.2019-01.01.2021。
某些时间序列仅与部分日期相关,并且在周末和节假日有缺失值。

如何仅使用每列相关日期的前一天值来完成每个时间序列的缺失值(如果特定列中的时间序列是从 01.03.2019 到 01.09.2019 我只想完成此日期范围内缺少值)?
另外,如果时间序列停止超过 5 天然后继续,我想停止完成,然后重新开始完成。

我尝试过使用填充功能:

data <- data %>%  
fill(colnames(data))  

但它也会在特定时间序列结束后完成缺失的数据。

例如df是:

#  Date         time_series_1           time_series_2            time_series_3
1  01-01-2019               NA                      10                       8
2  02-01-2019               5                       NA                       10
3  03-01-2019               10                      NA                       20   
4  04-01-2019               20                      6                        40
5  05-01-2019               30                      NA                       NA
6  06-01-2019               NA                      8                        NA
7  07-01-2019               7                       NA                       NA
8  08-01-2019               5                       NA                       NA
9  09-01-2019               NA                      NA                       5
10 10-01-2019               NA                      NA                       NA
11 11-01-2019               NA                      NA                       7
12 12-01-2019               NA                      NA                       10
13 13-01-2019               NA                      NA                       11
14 14-01-2019               NA                      NA                       12
15 15-01-2019               NA                      NA                       NA
16 16-01-2019               NA                      NA                       9
17 17-01-2019               NA                      NA                       10
18 18-01-2019               NA                      NA                       10
19 19-01-2019               5                       NA                       11
20 20-01-2019               NA                      NA                       NA
21 21-01-2019               5                       NA                       NA
22 22-01-2019               6                       NA                       NA

想要的输出是:

#  Date         time_series_1           time_series_2            time_series_3
1  01-01-2019               NA                      10                       8
2  02-01-2019               5                       10                       10
3  03-01-2019               10                      10                       20   
4  04-01-2019               20                      6                        40
5  05-01-2019               30                      6                        40
6  06-01-2019               30                      8                        40
7  07-01-2019               7                       NA                       40
8  08-01-2019               5                       NA                       40
9  09-01-2019               NA                      NA                       5
10 10-01-2019               NA                      NA                       5
11 11-01-2019               NA                      NA                       7
12 12-01-2019               NA                      NA                       10
13 13-01-2019               NA                      NA                       11
14 14-01-2019               NA                      NA                       12
15 15-01-2019               NA                      NA                       12
16 16-01-2019               NA                      NA                       9
17 17-01-2019               NA                      NA                       10
18 18-01-2019               NA                      NA                       10
19 19-01-2019               5                       NA                       11
20 20-01-2019               5                       NA                       11
21 21-01-2019               5                       NA                       11
22 22-01-2019               6                       NA                       11

【问题讨论】:

标签: r time-series


【解决方案1】:

编辑

感谢@G。 Grothendieck 提到 na.locf0maxgap 参数,可以直接处理 5 天条件。

data[-1] <- lapply(data[-1], zoo::na.locf0, maxgap = 5)
data

较早的答案

你可以用rlezoo::na.locf0编写一个函数来替换NA,只有当连续的NA的长度小于等于5时。将此函数应用于具有lapply的多个列。

conditionally_replace_na <- function(x) {
  ifelse(with(rle(is.na(x)), rep(lengths, lengths)) <= 5 & is.na(x), 
               zoo::na.locf0(x), x)  
}

data[-1] <- lapply(data[-1], conditionally_replace_na)
data

#         Date time_series_1 time_series_2 time_series_3
#1  01-01-2019            NA            10             8
#2  02-01-2019             5            10            10
#3  03-01-2019            10            10            20
#4  04-01-2019            20             6            40
#5  05-01-2019            30             6            40
#6  06-01-2019            30             8            40
#7  07-01-2019             7            NA            40
#8  08-01-2019             5            NA            40
39  09-01-2019            NA            NA             5
#10 10-01-2019            NA            NA             5
#11 11-01-2019            NA            NA             7
#12 12-01-2019            NA            NA            10
#13 13-01-2019            NA            NA            11
#14 14-01-2019            NA            NA            12
#15 15-01-2019            NA            NA            12
#16 16-01-2019            NA            NA             9
#17 17-01-2019            NA            NA            10
#18 18-01-2019            NA            NA            10
#19 19-01-2019             5            NA            11
#20 20-01-2019             5            NA            11
#21 21-01-2019             5            NA            11
#22 22-01-2019             6            NA            11

函数也可以与dplyr::across一起应用

library(dplyr)
data %>% mutate(across(starts_with('time_series'), conditionally_replace_na))

【讨论】:

  • na.locfna.locf0的主要区别是什么
  • 没什么,区别是na.locf0默认na.rm = FALSEna.locf默认设置为TRUE
  • 感谢@G.Grothendieck ,maxgap 让它变得超级简单。更新了答案以包含它。
猜你喜欢
  • 2021-07-20
  • 2015-12-03
  • 2021-06-21
  • 2019-05-16
  • 2016-12-08
  • 1970-01-01
  • 1970-01-01
  • 2019-03-06
  • 2011-04-03
相关资源
最近更新 更多