标准 sql 中的 BigQuery 过滤记录

Question

我正在统计在我们的主页上提交邮政编码的所有访问者。我在旧版 SQL 中提出了以下查询：

SELECT fullVisitorId, visitStartTime
FROM TABLE_DATE_RANGE([ga_sessions_], TIMESTAMP('2017-01-29'), CURRENT_TIMESTAMP())
where hits.page.pagePath = '/broadband/'
and visitStartTime > 1483228800
and hits.type   = 'EVENT'
and hits.eventInfo.eventCategory = 'Homepage'
and hits.eventInfo.eventAction = 'Submit Postcode';

然后我想将它转换为标准 SQL 以在 CTE 中使用，并想出了一个看起来不正确的 SQL。

SELECT fullVisitorId, visitStartTime
FROM ``ga_sessions_*``, UNNEST(hits) as h
where 

_TABLE_SUFFIX > '2017-01-29'
AND h.page.pagePath = '/broadband/'
and visitStartTime > 1483228800
and h.type  = 'EVENT'
and h.eventInfo.eventCategory = 'Homepage'
and h.eventInfo.eventAction = 'Submit Postcode';

第一个处理 327 MB 并返回 4117 个结果，第二个处理 6.98 GB 并返回 60745 个结果。

我查看了migration guide，但事实证明它对我没有多大帮助。

ga_sessions 有 standard schema 的 GA 导入 Bigquery。

Answer 1

看起来不同之处在于，使用标准 SQL，当您在 FROM 子句中使用 CROSS JOIN UNNEST(hits) 时，您正在展平 hits 上的表，因此会在结果中添加更多行。更等效的查询是：

#standardSQL
SELECT fullVisitorId, visitStartTime
FROM `ga_sessions_*`
where 
_TABLE_SUFFIX > '20170129'   
and visitStartTime > 1483228800
and EXISTS(
  SELECT 1 FROM UNNEST(hits) h 
  WHERE h.type  = 'EVENT'
    and h.page.pagePath = '/broadband/'
    and h.eventInfo.eventCategory = 'Homepage'
    and h.eventInfo.eventAction = 'Submit Postcode');

Answer 2

这里发生的事情是 _TABLE_SUFFIX 是一个字符串，所以当你这样做时：

_TABLE_SUFFIX > '2017-01-29'

由于字符串比较与数字比较不同，您最终会选择比预期更多的表。

解决此问题的一种可能方法是将字符串解析为 DATE 类型：

SELECT fullVisitorId, visitStartTime
FROM `ga_sessions*`, UNNEST(hits) as h
where parse_date("%Y%m%d", regexp_extract(_table_suffix, r'.*_(.*)')) >=  parse_date("%Y-%m-%d", '2017-01-29')

AND h.page.pagePath = '/broadband/'
and visitStartTime > 1483228800
and h.type  = 'EVENT'
and h.eventInfo.eventCategory = 'Homepage'
and h.eventInfo.eventAction = 'Submit Postcode';

parse_date 操作首先将字符串转换为DATE，然后进行比较。

还请注意，我将通配符选择更改为 ga_sessions，然后使用 REGEX_EXTRACT 我只考虑“_”字符之后的内容。通过这样做，您也可以选择“日内”表。