跨不同格式创建统一日期

Question

我有一个包含大约 53,000 行的数据集，其中一列测量了进行观察的日期和时间。在数据收集过程中，不知何故，日期的格式从 mm/dd/year 转换为 dd/mm/year，这种情况发生了好几次。但是，我知道每个错误发生的确切行，所以我想知道是否有一种有效的方法可以将它们全部更改为单一格式（我希望它们以 mm/dd/year 为单位，因为这是大多数观察结果在）。

这是我正在谈论的问题的一个示例，从 dd/mm/year 到 mm/dd/year：

data.test = data.frame(Date = c("16/11/2017 8:45 AM", "16/11/2017 9:00 AM", 
"11/16/2017 9:15 AM", "11/16/2017 9:30 AM"), Observed = c(100, 23, 291, 30))
data.test

Date                Observed
16/11/2017 8:45 AM  100         
16/11/2017 9:00 AM  23          
11/16/2017 9:15 AM  291         
11/16/2017 9:30 AM  30  

在我的数据集中，日期是字符，而其余行是数字。

Answer 1

在这种情况下，我更喜欢使用lubridate::parse_date_time 函数来处理同一列中日期/时间的异构格式

# Sample data.frame
# I have modified one date from sample used by OP to include both AM and PM 
data.test = data.frame(Date = c("16/11/2017 8:45 AM", "16/11/2017 9:00 PM", 
               "11/16/2017 9:15 AM", "11/16/2017 9:30 AM"), Observed = c(100, 23, 291, 30))

#modified column added in consistent format. 
library(lubridate)
data.test$modifeddatetime <- parse_date_time(data.test$Date, c("dmY HM p", "mdY HM p"))

#Change the modfieddatetime column back in character in desired format
data.test$modifeddatetime <- format(data.test$modifeddatetime, format="%m/%d/%Y %H-%M")


data.test
#                 Date Observed  modifeddatetime
# 1 16/11/2017 8:45 AM      100 11/16/2017 08-45
# 2 16/11/2017 9:00 PM       23 11/16/2017 21-00
# 3 11/16/2017 9:15 AM      291 11/16/2017 09-15
# 4 11/16/2017 9:30 AM       30 11/16/2017 09-30

Answer 2

您说您知道需要进行更改的位置（可能是一系列行号），但您没有在示例中给出这些位置，可能是因为它很明显。但是在 mm 和 dd 都小于 13 的情况下，这并不明显。

data.test$Date <- as.character(data.test$Date) # prevent factor issues
dd_mm <- 1:2 # the rows to be changed
repl <-format( as.POSIXct( data.test$Date[dd_mm], format="%d/%m/%Y %H:%M %p"), format="%m/%d/%Y %H:%M %p" )
data.test$Date[dd_mm] <- repl
data.test
#-------------------------------------------
                 Date Observed
1 11/16/2017 08:45 AM      100
2 11/16/2017 09:00 AM       23
3  11/16/2017 9:15 AM      291
4  11/16/2017 9:30 AM       30

Answer 3

这是一个有趣的尝试。假设您的第一次观察是正确的格式，则使用一些代码来根据日期应该在哪个月份检查最合理的日期格式。它如何处理月份的变化我还不完全确定.

只要第一次观察是正确的，它就会以正确的格式继续下去，直到遇到一个模棱两可的日期。在这一点上，它会与之前应该正确的观察月份进行检查。如果它们匹配，则正确预测当前的模棱两可的观察，如果不匹配，则选择其他格式。再次，当月份切换并且模棱两可的热门歌曲需要一些工作但我太懒了（现在是星期五）

data.test = data.frame(Date = c("9/8/2017 8:30 AM","8/9/2017 8:45 AM", "16/11/2017 9:00 AM", "11/16/2017 9:15 AM", "11/16/2017 9:30 AM"), Observed = c(100, 23, 291, 30, 45))

Date1<-
as.POSIXct(data.test$Date, format="%m/%d/%Y %H:%M %p") # search for format1
Date2<-
as.POSIXct(data.test$Date, format="%d/%m/%Y %H:%M %p") # search for format2

# Replace data.test Date Column with Date1, leaving NAs
data.test$Date<-Date1


#Check most plausible date format.
for(i in 1:length(Date1)){
  if(is.na(Date1[i])==F  && is.na(Date2[i])==F && i!= 1){
    print(paste("row",i , "ambigious format"))
      if(month(Date1[i-1])==month(Date1[i])){
         print("Date Estimated from mm/dd/YYYY format based on previous")
      }else{
         Date1[i]<-Date2[i]
         print("Date Estimated from dd/mm/YYYY format based on previous")
}
}else{}
}



# Replace NAs in data.test with index from Date2, line up
data.test$Date[is.na(data.test$Date)] <- Date2[is.na(data.test$Date)]

> data.test
                 Date Observed
1 2017-09-08 08:30:00      100
2 2017-09-08 08:45:00       23
3 2017-11-16 09:00:00      291
4 2017-11-16 09:15:00       30
5 2017-11-16 09:30:00       45