用于合并值列表/数组的 BigQuery JavaScript UDF

Question

所以我有这些列，col1 到 colx 都是 STRING/TEXT 类型：

id   |   col1   |    col2   | col3     | ...
-----|----------|-----------|----------|------
1    |[{"a":1}] | [{"b":2}] | [{"c":3}]| ...
-----|----------|-----------|----------|------
2    | ....

有没有一种简单的方法可以使用 UDF 连接和合并这些值，结果是 [{"a":1}, {"b":2}, {"c":3}]?

我考虑过先进行字符串连接和正则表达式替换，但是 SQL 会很冗长，所以我现在正在研究 JS UDF。但是，我不知道如何使用任意数量的列/参数来做到这一点。感谢您的想法！

编辑 1

澄清一下，对于 UDF 实现，如果我可以按任意顺序选择任意数量的 args 将是理想的，即

• func(col1, col2) 给了我[{"a":1}, {"b":2}]，然后
• func(col1, col2, col3) 给我[{"a":1}, {"b":2}, {"c": 3}]。

Answer 1

是否可以使 args 具有选择性，例如，我可以选择 combine(col1, col2) 或 combine(col1, col2, col100)？

func(col1, col2) 给我 [{"a":1}, {"b":2}] 和
func(col1, col2, col3) 给我 [{"a":1}, {"b":2}, {"c": 3}]。

以下示例适用于 BigQuery 标准 SQL

#standardSQL
CREATE TEMP FUNCTION combine(s ANY TYPE) AS (
  REGEXP_REPLACE(TO_JSON_STRING(s), r'\\"', '"')
);
WITH `project.dataset.table` AS (
  SELECT 1 id, '{"a":1}' col1, '{"b":2}' col2, '{"c":3}' col3 UNION ALL
  SELECT 2 id, '{"d":4}' col1, '{"e":5}' col2, '{"f":6}' col3 
)
SELECT id, 
  combine([col1, col2]) combined_2columns,
  combine([col1, col2, col3]) combined_3columns
FROM `project.dataset.table` t
-- ORDER BY id  

有输出

Row id  combined_2columns       combined_3columns    
1   1   ["{"a":1}","{"b":2}"]   ["{"a":1}","{"b":2}","{"c":3}"]  
2   2   ["{"d":4}","{"e":5}"]   ["{"d":4}","{"e":5}","{"f":6}"] 

Answer 2

以下是 BigQuery 标准 SQL

#standardSQL
CREATE TEMP FUNCTION combine(s ANY TYPE) AS ((
  SELECT STRING_AGG(x ORDER BY OFFSET)
  FROM UNNEST(SPLIT(REGEXP_REPLACE(FORMAT('%t', s), r'\)$', ''))) x WITH OFFSET
  WHERE OFFSET > 0
));
SELECT id, combine(t) AS combined_columns
FROM `project.dataset.table` t
ORDER BY id  

您可以使用虚拟数据进行测试，如下例所示

#standardSQL
CREATE TEMP FUNCTION combine(s ANY TYPE) AS ((
  SELECT STRING_AGG(x ORDER BY OFFSET)
  FROM UNNEST(SPLIT(REGEXP_REPLACE(FORMAT('%t', s), r'\)$', ''))) x WITH OFFSET
  WHERE OFFSET > 0
));
WITH `project.dataset.table` AS (
  SELECT 1 id, '{"a":1}' col1, '{"b":2}' col2, '{"c":3}' col3 UNION ALL
  SELECT 2 id, '{"d":4}' col1, '{"e":5}' col2, '{"f":6}' col3 
)
SELECT id, combine(t) AS combined_columns
FROM `project.dataset.table` t
ORDER BY id  

结果

Row id  combined_columns     
1   1   {"a":1}, {"b":2}, {"c":3}    
2   2   {"d":4}, {"e":5}, {"f":6}    

如果您希望组合值是数组 - 将 STRING_AGG() 替换为 ARRAY_AGG() 并且结果将为

Row id  combined_columns     
1   1   {"a":1}  
        {"b":2}  
        {"c":3}  
2   2   {"d":4}  
        {"e":5}  
        {"f":6}  

显然，只要第一列是id 和col1 thru colx are all of type STRING，如上所述，上述内容适用于任意数量的列。否则，以上需要稍作调整 - 但这些将是非常小的变化......