【问题标题】:Multiple dates in a column: R一列中有多个日期:R
【发布时间】:2020-09-03 20:07:13
【问题描述】:

好的,我已经解决了几个问题,并且我认为我在数据中看到了一种可以解决的模式(也就是说,我发现我可以区分 dmy 和 mdy)。

让我介绍一下数据集的背景。该数据集包含当前隔离期间旅行的人员的信息。因此,当我向下滚动数据集时,我看到大多数日期以 M-D-Y 格式输入,而有些则以 dmy 格式输入。

所以对于这个数据集,(数据集包含直到八月的信息)。歧义可以通过以下方式解决:

  1. 日期不能是未来。因此,这解决了 08-12-2020 和 12-08-2020 之间的差异。另外,我只有 6 月份之前的数据。
  2. 日子比几个月快。如果我看到一个序列(无论它是 dmy 还是 mdy),如果我看到一个数字每隔几行发生变化(比如说 20),那么我知道正在变化的数字是一天而不是一个月。 示例:

在这种情况下如何正确分配日期?

【问题讨论】:

  • 使用as.Dateas.POSIXctprevious answer,你可以让它工作吗?
  • 我相信即使解析器可以用第一次尝试的格式理解它,这并不一定意味着它得到了正确的日期。如果 MDY 是预期的默认值,那么上面 OPs DMY 格式示例中的任何一个日期都会被解析得很好,但实际上是错误的。听起来解决这个问题的唯一方法是依靠观察行似乎是按时间顺序排列的,您可以在“明确”的情况下(例如 2020 年 5 月 31 日和 2020 年 6 月 13 日)之间理智地检查观察结果
  • 我在想会有一些代码让我首先看到每行更改了哪个数字。该数字被分配为“日”,然后进行日期解析。就是不知道有没有这样的解决办法。
  • 我认为这种方法有点棘手。不知道日期的哪个区块(第二个或第三个),查看与前一行的数字差异不会给出太多信息。如果格式从“2020/08/01”更改为“2020/01/08”,您会看到第二个块的变化为 -7,第三个块的变化为 +7。那不会解决您的难题-除非您找到一些实际上只能以一种方式解释的锚定日期-然后才能让您进行我试图在下面的答案中列出的其他逻辑推论。

标签: r dplyr lubridate


【解决方案1】:

所以,如果我理解正确,您的数据是按时间顺序排列的,并且您对测量数据的时间范围有所了解。

鉴于此,这是我创建加扰数据然后重新解析它的尝试:

library(dplyr)
library(lubridate)
library(zoo) # for na.locf function

# create some scrambled data to work with
df <- tibble(
    date_ground_truth = rep(seq(from = ymd('20190801'), to = ymd('20200730'), by = 1), each = 5)
  ) %>%
  mutate(
    date_inconsistent_chr = format(date_ground_truth, ifelse(runif(nrow(.), 0, 1) > 0.3, '%Y/%m/%d', '%Y/%d/%m'))
  )

# providing here the date range in which your observations lie. I only know that it maxes end of July 2020, so my end result has some remaining unknowns at the start
daterange_known_min <- NA_Date_
daterange_known_max <- ymd('20200730')

# initiate a cleaned df - for any date where we have a day > 12, we know that it can only be one format of YMD/YDM
df_recleaned <- df %>%
  mutate(
    date_parsed_ymd = as.Date(date_inconsistent_chr, '%Y/%m/%d'), # try YMD
    date_parsed_ydm = as.Date(date_inconsistent_chr, '%Y/%d/%m'), # try YDM
    
    date_parsed_deducted = case_when( # write out the clear cut cases
      day(date_parsed_ymd) > 12 ~ date_parsed_ymd,
      day(date_parsed_ydm) > 12 ~ date_parsed_ydm,
      date_parsed_ymd == date_parsed_ydm ~ date_parsed_ymd,
      T ~ NA_Date_
    )
  )

# we will run over the data until we can not deduct any more new dates from what we've learnt so far:

new_guesses_possible <- T
while(new_guesses_possible) {
  # how many dates did we already deduct?
  num_deducted_dates_before <- df_recleaned %>% filter(!is.na(date_parsed_deducted)) %>% nrow()
  
  # deduct more, based on our knowledge that the dates are chronological and within a certain time-frame
  df_recleaned <- df_recleaned %>%
    mutate(
      earliest_possible_date = coalesce(na.locf(date_parsed_deducted, na.rm = F), daterange_known_min),
      last_possible_date = coalesce(na.locf(date_parsed_deducted, fromLast = T, na.rm = F), daterange_known_max),
      
      ymd_guess_in_range = coalesce(date_parsed_ymd >= earliest_possible_date & date_parsed_ymd <= last_possible_date, F),
      ydm_guess_in_range = coalesce(date_parsed_ydm >= earliest_possible_date & date_parsed_ydm <= last_possible_date, F),
      
      date_parsed_deducted = case_when(
        # keep clear cases
        !is.na(date_parsed_deducted) ~ date_parsed_deducted,
        
        # if the ymd-guess falls between the last clear case and next clear case, take ymd
        ymd_guess_in_range & !ydm_guess_in_range ~ date_parsed_ymd,
        # same approach for ydm
        ydm_guess_in_range & !ymd_guess_in_range ~ date_parsed_ydm,
        
        # cover the cases where we don't know either the last or next clear parsed date
        # if one of the parsed dates falls before the "first possible date", take the other one.
        #   (if no daterange_known_min is given, these rows will result in NA and not do anything...)
        date_parsed_ymd < daterange_known_min ~ date_parsed_ydm,
        date_parsed_ydm < daterange_known_min ~ date_parsed_ymd,
        # inversely, if one parsed option falls after the "last possible date", ignore it.
        date_parsed_ymd > daterange_known_max ~ date_parsed_ydm,
        date_parsed_ydm > daterange_known_max ~ date_parsed_ymd
      )
    )
  
  # how many dates did we now deduct?
  num_deducted_dates_after <- df_recleaned %>% filter(!is.na(date_parsed_deducted)) %>% nrow()
  
  # do we need to go on?
  new_guesses_possible <- num_deducted_dates_after > 0 & num_deducted_dates_before != num_deducted_dates_after
}

# kick out all those extra columns :)
df_recleaned_final <- df_recleaned %>%
  select(
    -date_parsed_ymd, -date_parsed_ydm,
    -earliest_possible_date, -last_possible_date,
    -ymd_guess_in_range, -ydm_guess_in_range
  )

在我的示例中,这会修复 2019 年 8 月第一周之后的所有日期。
如果您的数据中存在更长的空白,它可能会给您不同的结果。

【讨论】:

  • 谢谢你!我将在一段时间后运行此程序并回复您。
  • 希望对您有所帮助。如果您知道第一个可能的日期,请确保编辑该行并设置daterange_known_min &lt;- ymd('yyyymmdd') :)
猜你喜欢
  • 2021-07-11
  • 1970-01-01
  • 2016-07-25
  • 2021-04-24
  • 1970-01-01
  • 2018-06-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多