在 Spark SQL 中应用 to_date() 和 add_months 函数时出错

Question

我有以下蜂巢表。 cycle_month 列的值采用 YYYYMM 格式。

+---------------+--------------+------------+
| column_value  | metric_name  |cycle_month |
+---------------+--------------+------------+
| A37B          | Mean         | 202005     |
| ACCOUNT_ID    | Mean         | 202005     |
| ANB_200       | Mean         | 202005     |
| ANB_201       | Mean         | 202006     |
| AS82_RE       | Mean         | 202006     |
| ATTR001       | Mean         | 202007     |
| ATTR001_RE    | Mean         | 202007     |
| ATTR002       | Mean         | 202008     |
| ATTR002_RE    | Mean         | 202008     |
| ATTR003       | Mean         | 202009     |
| ATTR004       | Mean         | 202009     |
| ATTR005       | Mean         | 202009     |
| ATTR006       | Mean         | 202010     |

我需要编写一个动态查询来获取用户传递的 cycle_month 值和 cycle_month - 4 个月之间的值。

Spark SQL 查询：

select column_name, metric_name from table where cycle_month between add_months(to_date(202010,'YYYYMM'),-4) and 202010  

遇到错误

[错误 10015]：第 1:323 行参数长度不匹配“YYYYMM”：to_date() 需要 1 个参数，得到 2 个（状态=21000，代码=10015）

预期输出：

+---------------+--------------+------------+
| column_value  | metric_name  |cycle_month |
+---------------+--------------+------------+
| ANB_201       | Mean         | 202006     |
| AS82_RE       | Mean         | 202006     |
| ATTR001       | Mean         | 202007     |
| ATTR001_RE    | Mean         | 202007     |
| ATTR002       | Mean         | 202008     |
| ATTR002_RE    | Mean         | 202008     |
| ATTR003       | Mean         | 202009     |
| ATTR004       | Mean         | 202009     |
| ATTR005       | Mean         | 202009     |
| ATTR006       | Mean         | 202010     |

Answer 1

Y 不是正确的年份格式；它应该是y。你应该使用yyyyMM。详情请见https://spark.apache.org/docs/latest/sql-ref-datetime-pattern.html。

SELECT 
    column_name, metric_name, cycle_month
FROM 
    table
WHERE 
    to_date(cycle_month, 'yyyyMM') BETWEEN 
        add_months(to_date(202010, 'yyyyMM'), -4)
            AND 
        to_date(202010, 'yyyyMM')

Answer 2

to_date 函数需要字符串作为输入并返回 date 以将日期更改为 YYYYMM 使用 date_format 函数最终将 date 转换为 int。

Try with this query

select column_name, metric_name from table where cycle_month between int(date_format(add_months(to_date('202010','YYYYMM'),-4),'YYYYMM')) and 202010

---

UPDATE:

sql("select int(date_format(add_months(to_date('202010','YYYYMM'),-4),'YYYYMM'))").show()
#+------------------------------------------------------------------------------------------------+
#|CAST(date_format(CAST(add_months(to_date('202010', 'YYYYMM'), -4) AS TIMESTAMP), YYYYMM) AS INT)|
#+------------------------------------------------------------------------------------------------+
#|                                                                                          201908|
#+------------------------------------------------------------------------------------------------+