Bigquery/标准 SQL：如何使用 sum() 聚合所有列（大约 100 列）？

Question

我正在寻找一种使用 sum() 函数聚合包含大约 100 列的 Bigquery 表的解决方案。但 Bigquery 标准 SQL 中不允许以下查询。

select sum(*)
from `dataset.Intermediate_Tables.eventCat_dummies`
group by Id

我想在 Bigquery 中进行这种聚合的原因是它能够处理大量数据。我尝试在 jupyter notebook 中进行相同的聚合，但每次都失败。这可能是因为数据量大（7.3 GiB csv 文件）。我试过的代码如下：

df_type = type_dummies.groupby('Id', sort=False).sum()

任何人都可以就如何获取这个大型数据集的聚合数据提供任何建议和/或替代方案？

使用示例输入和输出进行更新

输入数据

Id col1 col2 col3 col4
1  0    0    0    1
2  0    1    1    1
1  1    0    0    0
4  0    0    0    0
19 0    0    0    0
2  1    1    1    1

期望的输出

Id col1_sum col2_sum col3_sum col4_sum
1  1        0        0        1
2  1        2        2        2
4  0        0        0        0
19 0        0        0        0

在我的原始数据集中，有 100 列和 4000 万行。

Answer 1

以下是 BigQuery StandardSQL 的示例

#standardSQL
WITH `project.dataset.table` AS (
  SELECT 1 id, 1 a, 2 b, 3 c UNION ALL
  SELECT 1, 4, 5, 6 UNION ALL
  SELECT 2, 7, 8, 9
)
SELECT id, 
  SUM((
    SELECT SUM(CAST(SPLIT(pair, ':')[SAFE_OFFSET(1)] AS INT64)) 
    FROM UNNEST(SPLIT(REGEXP_REPLACE(TO_JSON_STRING(t), r'[{}]', ''))) pair 
    WHERE SPLIT(pair, ':')[SAFE_OFFSET(0)] != '"id"'
  )) val
FROM `project.dataset.table` t
GROUP BY id    

结果为

Row id  val  
1   1   21   
2   2   24     

如您所见 - 以上不依赖于列数
此外，它假设除id 列之外的所有列都需要求和。如果您要排除更多列 - 您可以分别调整 WHERE 子句

根据提供的详细信息进行更新
所以你想对每一列求和（最初我读你的问题，好像你想通过 id 将所有列的值加在一起）

#standardSQL
WITH `project.dataset.table` AS (
  SELECT 1 id, 1 a, 2 b, 3 c UNION ALL
  SELECT 1, 4, 5, 6 UNION ALL
  SELECT 2, 7, 8, 9
)
SELECT id, 
  REPLACE(SPLIT(pair, ':')[SAFE_OFFSET(0)], '"', '')  col,
  SUM(CAST(SPLIT(pair, ':')[SAFE_OFFSET(1)] AS INT64)) val
FROM (
  SELECT id, 
    ARRAY(
      SELECT pair
      FROM UNNEST(SPLIT(REGEXP_REPLACE(TO_JSON_STRING(t1), r'[{}]', ''))) pair 
      WHERE SPLIT(pair, ':')[SAFE_OFFSET(0)] != '"id"'
    ) arr
  FROM `project.dataset.table` t1
) t2,
UNNEST(arr) pair
GROUP BY id, col
ORDER BY id, col

这会给你下面的结果

Row id  col val  
1   1   a   5    
2   1   b   7    
3   1   c   9    
4   2   a   7    
5   2   b   8    
6   2   c   9    

这个结果是你需要的扁平化版本，在大多数实际用例中比旋转的更有效

不过，如果您想转换此结果 - 请参阅 https://stackoverflow.com/a/35808045/5221944