sqldf：按日期范围查询数据

Question

我正在读取具有'%d/%m/%Y' 日期格式的巨大文本文件。我想使用 sqldf 的 read.csv.sql 同时按日期读取和过滤数据。这是通过跳过许多我不感兴趣的日期来节省内存使用和运行时间。我知道如何在dplyr 和lubridate 的帮助下做到这一点，但我只想尝试使用sqldf上述原因。尽管我对 SQL 语法非常熟悉，但大部分时间它仍然让我受益匪浅，sqldf 也不例外。

像下面这样的运行命令返回了一个 0 行的 data.frame：

first_date <- "2001-11-1"
second_date <- "2003-11-1"
query <- "select * from file WHERE strftime('%d/%m/%Y', Date, 'unixepoch', 'localtime') between
                    '$first_date' AND '$second_date'"
df <- read.csv.sql(data_file,
                       sql= query,
                       stringsAsFactors=FALSE,
                       sep = ";", header = TRUE)

所以为了模拟，我尝试了sqldf 函数，如下所示：

first_date <- "2001-11-1"
second_date <- "2003-11-1"
df2 <- data.frame( Date = paste(rep(1:3, each = 4), 11:12, 2001:2012, sep = "/"))
sqldf("SELECT * FROM df2 WHERE strftime('%d/%m/%Y', Date, 'unixepoch') BETWEEN '$first-date' AND '$second_date' ") 

# Expect:
# Date
# 1  1-11-2001
# 2  1-12-2002
# 3  1-11-2003

Answer 1

strftime strftime 带有百分比代码用于将已经被 sqlite 视为日期时间的对象转换为其他对象，但您想要相反，因此问题中的方法不起作用。例如，这里我们将当前时间转换为 dd-mm-yyyy 字符串：

library(sqldf)
sqldf("select strftime('%d-%m-%Y', 'now') now")
##          now
## 1 07-09-2014

讨论 由于 SQlite 缺少日期类型，处理起来有点麻烦，尤其是 1 位或 2 位非标准日期格式，但如果你真的想使用 SQLite，我们可以通过繁琐的解析日期字符串来做到这一点。使用 gsubfn 包中的fn$ 进行字符串插值可以稍微简化这一点。

代码 下面的zero2d 输出 SQL 代码，如果其输入为一位，则在其输入前添加一个零字符。 rmSlash 输出 SQL 代码以删除其参数中的任何斜杠。 Year、Month 和 Day 每个输出 SQL 代码以获取表示讨论格式中的日期的字符串，并提取指示的组件，在 Month 的情况下将其重新格式化为 2 位零填充字符串和Day。 fmtDate 为first_string 和second_string 获取问题中所示形式的字符串，并输出yyyy-mm-dd 字符串。

library(sqldf)
library(gsubfn)

zero2d <- function(x) sprintf("substr('0' || %s, -2)", x)

rmSlash <- function(x) sprintf("replace(%s, '/', '')", x)

Year <- function(x) sprintf("substr(%s, -4)", x)

Month <- function(x) {
   y <- sprintf("substr(%s, instr(%s, '/') + 1, 2)", x, x)
   zero2d(rmSlash(y))
}

Day <- function(x) {
   y <- sprintf("substr(%s, 1, 2)", x)
   zero2d(rmSlash(y))
}

fmtDate <- function(x) format(as.Date(x))

sql <- "select * from df2 where 
  `Year('Date')` || '-' || 
  `Month('Date')` || '-' || 
  `Day('Date')`
  between '`fmtDate(first_date)`' and '`fmtDate(second_date)`'"
fn$sqldf(sql)

给予：

       Date
1 1/11/2001
2 1/12/2002
3 1/11/2003

注意事项

1) 使用的 SQLite 函数 instr、replace 和 substr 是核心 sqlite 函数

2) SQL 在fn$ 执行替换后实际执行的SQL 语句如下（稍微重新格式化以适应）：

> cat( fn$identity(sql), "\n")
select * from df2 where 
  substr(Date, -4) 
  || '-' || 
  substr('0' || replace(substr(Date, instr(Date, '/') + 1, 2), '/', ''), -2) 
  || '-' || 
  substr('0' || replace(substr(Date, 1, 2), '/', ''), -2)
  between '2001-11-01' and '2003-11-01' 

3) 并发症的来源 主要的并发症是非标准的 1 位或 2 位数字的日期和月份。如果他们一直是 2 位数，它会减少到这个：

first_date <- "2001-11-01"
second_date <- ""2003-11-01"

fn$sqldf("select Date from df2 
   where substr(Date, -4) || '-' || 
         substr(Date, 4, 2) || '-' ||
         substr(Date, 1, 2)
   between '`first_date`' and '`second_date`' ")

4) H2 这是一个 H2 解决方案。 H2 确实有一个 datetime 类型，大大简化了 SQLite 的解决方案。我们假设数据在一个名为mydata.dat 的文件中。请注意，read.csv.sql 不支持 H2，因为 H2 已经具有内部的 csvread SQL 函数来执行此操作：

library(RH2)
library(sqldf)

first_date <- "2001-11-01"
second_date <- "2003-11-01"

fn$sqldf(c("CREATE TABLE t(DATE TIMESTAMP) AS
  SELECT parsedatetime(DATE, 'd/M/y') as DATE
  FROM CSVREAD('mydata.dat')", 
  "SELECT DATE FROM t WHERE DATE between '`first_date`' and '`second_date`'"))

请注意，第一个 RH2 查询在会话中会很慢，因为它会加载 java。之后你可以试试看性能是否足够。