BigQuery SQL 运行总计

Question

知道如何在 BigQuery SQL 中计算运行总计吗？

id   value   running total
--   -----   -------------
1    1       1
2    2       3
3    4       7
4    7       14
5    9       23
6    12      35
7    13      48
8    16      64
9    22      86
10   42      128
11   57      185
12   58      243
13   59      302
14   60      362 

对于使用任一相关标量查询的传统 SQL 服务器来说都不是问题：

SELECT a.id, a.value, (SELECT SUM(b.value)
                       FROM RunTotalTestData b
                       WHERE b.id <= a.id)
FROM   RunTotalTestData a
ORDER BY a.id;

或加入：

SELECT a.id, a.value, SUM(b.Value)
FROM   RunTotalTestData a,
       RunTotalTestData b
WHERE b.id <= a.id
GROUP BY a.id, a.value
ORDER BY a.id;

但我找不到让它在 BigQuery 中工作的方法...

Answer 1

问题在于第二个查询，BigQuery 将联合 FROM 表达式中的 2 个表。

我不确定第一个，但可能 bigquery 不喜欢 Select 表达式中的子选择，只喜欢 FromExpression 中的子选择。所以你需要将子查询移动到 from 表达式中，并 JOIN 结果。

另外，您可以尝试一下我们的 JDBC 驱动程序： Starschema BigQuery JDBC Driver

只需将其加载到 Squirrel SQL 或 RazorSQL 或任何支持 JDBC 驱动程序的工具中，请确保通过设置打开查询转换器：

transformQuery=true

在属性或 JDBC url 中，每个信息都可以在项目页面中找到。完成此操作后，尝试运行第二个查询，它将转换为与 BigQuery 兼容的联接。

Answer 2

你可能已经想通了。但这里有一种方法，但不是最有效的方法：

JOIN 只能使用相等比较来完成，即不能使用 b.id

https://developers.google.com/bigquery/docs/query-reference#joins

如果你问我，这很蹩脚。但是有一个解决方法。只需对某个虚拟值使用相等比较来获得笛卡尔积，然后将 WHERE 用于

SELECT a.id, SUM(a.value) as rt 
FROM RunTotalTestData a 
JOIN RunTotalTestData b ON a.dummy = b.dummy 
WHERE b.id <= a.id 
GROUP BY a.id 
ORDER BY rt

您也可以手动限制时间：

SELECT a.id, SUM(a.value) as rt 
FROM (
    SELECT id, timestamp RunTotalTestData 
    WHERE timestamp >= foo 
    AND timestamp < bar
) AS a 
JOIN (
    SELECT id, timestamp, value RunTotalTestData 
    WHERE timestamp >= foo AND timestamp < bar
) b ON a.dummy = b.dummy 
WHERE b.id <= a.id 
GROUP BY a.id 
ORDER BY rt

更新：

您不需要特殊属性。你可以使用

SELECT 1 AS one

并加入其中。

随着计费的进行，连接表在处理中计数。

Answer 3

2018 年更新：原问题中的查询现在无需修改即可工作。

#standardSQL
WITH RunTotalTestData AS (
  SELECT * FROM UNNEST([STRUCT(1 AS id, 1 AS value),(2,0),(3,1),(4,1),(5,2),(6,3)]) 
)

SELECT a.id, a.value, (SELECT SUM(b.value)
                       FROM RunTotalTestData b
                       WHERE b.id <= a.id) runningTotal
FROM   RunTotalTestData a
ORDER BY a.id;

2013 年更新：您可以使用 SUM() OVER() 来计算运行总计。

在你的例子中：

SELECT id, value, SUM(value) OVER(ORDER BY id)
FROM [your.table]

一个工作示例：

SELECT word, word_count, SUM(word_count) OVER(ORDER BY word)
FROM [publicdata:samples.shakespeare]
WHERE corpus  = 'hamlet'
AND word > 'a' LIMIT 30;