使用 Dbplyr 时将日期转换为年-季度格式

Question

我在数据库中有一个数据框，其中包含我使用 RPostgres/RpostgreSQL 和 dbplyr 提取的日期维度。每个日期的格式为“YYYY-MM-DD”，我需要添加一个新的日期（或字符）维度，以反映年季度格式“YYYY-Q”中的原始日期（带有破折号，而不是期间）。

鉴于我无法将 lubridate 与 dbplyr 一起使用，我将如何完成此操作？

感谢您的帮助！这是我目前所拥有的简化版本，因此您可以看到我正在使用哪些包以及我如何连接到数据库。

# Packages
library(RPostgres)
library(RPostgreSQL)
library(dplyr)
library(dbplyr)

# Connect to db 
drv <- dbDriver("Postgres")

# Setup connect to db
conn <- dbConnect(drv,
                  dbname = etc,)

# Define table to use in db
table <- tbl(conn, in_schema("xyz", "abc"))

#Select columns and filter
df <- table %>%
  #Filter for pertinent data
  filter(date > as.Date("2018-01-01") & date <= as.Date("2020-01-01")) 

 

Answer 1

dbplyr 中为一组 lubridate 函数提供了 SQL 翻译。所以下面的代码对我有用。

这样做的一个好处是如果小心使用，您可以将数据的位置转移到最有效的位置（在服务器上或本地）。

library(dplyr, warn.conflicts = FALSE)
library(DBI)
library(lubridate)
#> 
#> Attaching package: 'lubridate'
#> The following objects are masked from 'package:base':
#> 
#>     date, intersect, setdiff, union

pg <- dbConnect(RPostgres::Postgres(), bigint = "integer")
calls <- tbl(pg, sql("SELECT * FROM streetevents.calls"))

calls %>%
    mutate(yq = paste0(year(start_date), "-", quarter(start_date))) %>%
    select(start_date, yq)
#> # Source:   lazy query [?? x 2]
#> # Database: postgres [iangow@/tmp:5432/crsp]
#>    start_date          yq    
#>    <dttm>              <chr> 
#>  1 2013-09-10 19:30:00 2013-3
#>  2 2003-10-22 15:00:00 2003-4
#>  3 2009-10-22 16:00:00 2009-4
#>  4 2017-02-09 06:00:00 2017-1
#>  5 2010-02-22 22:00:00 2010-1
#>  6 2016-08-08 20:30:00 2016-3
#>  7 2016-05-11 13:00:00 2016-2
#>  8 2012-05-15 16:20:00 2012-2
#>  9 2004-08-19 21:00:00 2004-3
#> 10 2017-07-06 13:30:00 2017-3
#> # … with more rows

calls %>%
    collect(n = 10) %>%
    mutate(yq = paste0(year(start_date), "-", quarter(start_date))) %>%
    select(start_date, yq)
#> # A tibble: 10 x 2
#>    start_date          yq    
#>    <dttm>              <chr> 
#>  1 2013-09-10 19:30:00 2013-3
#>  2 2003-10-22 15:00:00 2003-4
#>  3 2009-10-22 16:00:00 2009-4
#>  4 2017-02-09 06:00:00 2017-1
#>  5 2010-02-22 22:00:00 2010-1
#>  6 2016-08-08 20:30:00 2016-3
#>  7 2016-05-11 13:00:00 2016-2
#>  8 2012-05-15 16:20:00 2012-2
#>  9 2004-08-19 21:00:00 2004-3
#> 10 2017-07-06 13:30:00 2017-3

^{由reprex package (v1.0.0) 于 2021-04-03 创建}

Answer 2

你能用zoo的as.yearqtr吗？

zoo::as.yearqtr(Sys.Date())
#[1] "2021 Q2"

要获取特定格式的数据，您可以使用format：

format(zoo::as.yearqtr(Sys.Date()), '%Y-%q')
#[1] "2021-2"

Answer 3

因为 dbplyr 不翻译 lubridate，所以我经常用于日期操作的方法是 SQL 的小片段。你可以看到这个here的例子。

由于您需要从现有日期中提取年份和季度，第一步是识别执行此操作的 postgresql 代码片段。请注意，不同版本的 SQL 在处理日期时使用不同的函数，因此此代码将是 postgresql 特定的。

基于this link 和this link，似乎有两种方法可以提取日期的组件：

1. EXTRACT(YEAR FROM date_column)
2. DATE_PART('year', date_column)

我将使用下面的第一种方法。

当我使用 SQL 片段时，我还将按照this link 使用 SQL 进行连接。例如：CONCAT(year_column '-', quarter_column)。所以我的输出将是文本类型的列。

将这些组合在一起得到：

library(dplyr)
library(dbplyr)

df = data.frame(my_num = c(1,2,3), my_dates = c('2000-01-01','2000-02-02','2000-03-03'))

df = tbl_lazy(df, con = simulate_postgres()) # simulated remote table

output = df %>%
  mutate(the_quarter = sql("EXTRACT(QUARTER FROM my_dates)"),
         the_year = sql("EXTRACT(YEAR FROM my_dates)")) %>%
  mutate(quarter = CONCAT(the_year, '-', the_quarter))

调用show_query(output) 允许我们检查生成的postgresql 查询：

SELECT `my_num`
    , `my_dates`
    , `the_quarter`
    , `the_year`
    , CONCAT(`the_year`, '-', `the_quarter`) AS `quarter`
FROM (
    SELECT `my_num`
        , `my_dates`
        , EXTRACT(QUARTER FROM my_dates) AS `the_quarter`
        , EXTRACT(YEAR FROM my_dates) AS `the_year`
    FROM `df`
) `q01

但格式没有那么好。据我所知，这是一个有效的 postgresql 函数，所以我们可以期待它工作。

根据您的应用程序，您可能还需要考虑this question，尤其是this answer。因为“YYYY-Q”格式可能有更好的替代方案。