Unnest 和 totals.timeOnSite（BigQuery 和 Google Analytics 数据）

Question

我想计算网站所有访问者的总 timeOnSite（并将其除以 3600，因为它在原始数据中存储为秒），然后我想将其分解为 content_group 和一个名为的自定义变量内容级别。

出现问题是因为 content_group 和 content_level 都嵌套在数组中，而 timeOnSite 是一个总计存储的变量，如果在包含和取消嵌套的查询中使用时会膨胀。 （content_group 是一个普通的 hits.-nested 变量，而 content_level 嵌套在 customDimensions 中，该 customDimensions 嵌套在 hits 中（第二级嵌套变量） （Will 和 Thomas C 很好地解释了为什么这个问题会出现在这个问题 Google Analytics Metrics are inflated when extracting hit level data using BigQuery 中，但我无法将他们的建议应用于 totals.timeOnSite 指标）

#StandardSQL
SELECT   
 date,   
 content_group,   
 content_level,  
 SUM(sessions) AS sessions,   
 SUM(sessions2) AS sessions2, 
 SUM(time_on_site) AS time_on_site   
FROM (   
     SELECT   
       date AS date,   
       hits.contentGroup.contentGroup1 AS content_group,   
       (SELECT MAX(IF(index=51, value, NULL)) FROM UNNEST(hits.customDimensions)) AS content_level,   
       SUM(totals.visits) AS sessions,   
       COUNT(DISTINCT CONCAT(cast(visitId AS STRING), fullVisitorId)) AS sessions2,   
       SUM(totals.timeOnSite)/3600 AS time_on_site   
     FROM `projectname.123456789.ga_sessions_20170101`,   
       unnest(hits) AS hits
     GROUP BY   
       iso_date, content_group, content_level
     ORDER BY 
       iso_date, content_group, content_level
    )   
GROUP BY iso_date, content_group, content_level
ORDER BY iso_date, content_group, content_level 

（我使用子查询是因为我计划使用 UNION_ALL 从多个表中提取数据，但我省略了该语法，因为我认为它与问题无关。）

问题：

*是否可以对两个命中进行“本地取消嵌套”。和 hits.customDimensions 以便可以在我的查询中使用 totals.timeOnSite 而不会被夸大？

*是否可以像我在会话和会话2中所做的那样为现场时间制定解决方法？

*这个问题是否有第三种隐藏的解决方案？

Answer 1

我无法完全测试这个，但它似乎对我的数据集起作用：

SELECT
  DATE,
  COUNT(DISTINCT CONCAT(fv, CAST(v AS STRING))) sessions,
  AVG(tos) avg_time_on_site,
  content_group,
  content_level
FROM(
  SELECT   
   date AS date,   
   fullvisitorid fv,
   visitid v,
   ARRAY(SELECT DISTINCT contentGroup.contentGroup1 FROM UNNEST(hits)) AS content_group,   
   ARRAY(SELECT DISTINCT value FROM UNNEST(hits) AS hits, UNNEST(hits.customDimensions) AS custd WHERE index = 51) AS content_level,   
   totals.timeOnSite / 3600 AS tos 
  FROM `dataset_id.ga_sessions_20170101`
  WHERE totals.timeOnSite IS NOT NULL
  )
CROSS JOIN UNNEST(content_group) content_group
LEFT JOIN UNNEST(content_level) content_level
GROUP BY
  DATE, content_group, content_level

我尝试做的是首先避免对整个数据集进行UNNEST(hits) 操作。因此，在第一个 SELECT 语句中，content_group 和 content_level 存储为 ARRAY。

在接下来的 SELECT 中，我取消了这两个 ARRAY 的嵌套，并在对所需字段进行分组时计算了总会话数和现场平均时间（我在这里使用了平均值，因为在处理现场时间，但如果您需要总和，您可以将AVG 更改为SUM）。

您不会在此查询中遇到重复timeOnSite 的问题，因为避免了外部UNNEST(hits)。当UNNEST(content_group) 和UNNEST(content_level) 发生时，这些ARRAY 中的每个值仅与其对应的time_on_site 关联一次，因此不会发生重复。

Answer 2

我这样回答自己的问题可能看起来很奇怪，但是我在 Stack Overflow 之外的一位联系人帮助我解决了这个问题，所以这实际上是他的答案，而不是我的。

session_duration 的问题可以通过使用窗口函数来解决（您可以在 BigQuery 文档中阅读有关窗口函数的更多信息：https://cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators#analytic-functions）

#StandardSQL
SELECT   
 iso_date,   
 content_group,   
 content_level,  
 COUNT(DISTINCT SessionId) AS sessions, 
 SUM(session_duration) AS session_duration 
FROM (   
     SELECT   
       date AS iso_date,   
       hits.contentGroup.contentGroup1 AS content_group,   
       (SELECT MAX(IF(index=51, value, NULL)) FROM UNNEST(hits.customDimensions)) AS content_level,  
       CONCAT(CAST(fullVisitorId AS STRING), CAST(visitId AS STRING)) AS SessionId, 
       (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId, visitId ORDER BY hits.time ASC) - hits.time) / 3600000 AS session_duration 
     FROM `projectname.123456789.ga_sessions_20170101`,   
       unnest(hits) AS hits
     WHERE _TABLE_SUFFIX BETWEEN "20170101" AND "20170131" 
       AND (SELECT 
              MAX(IF(index=51, value, NULL)) 
            FROM 
              UNNEST(hits.customDimensions) 
            WHERE 
              value IN ("web", "phone", "tablet")
            ) IS NOT NULL 
     GROUP BY   
       iso_date, content_group, content_level
     ORDER BY 
       iso_date, content_group, content_level
    )   
GROUP BY iso_date, content_group, content_level
ORDER BY iso_date, content_group, content_level 

子选择中的 LEAD - OVER - PARTITION 和 WHERE 子句中的子子选择都是窗口函数正常工作所必需的。

还提供了一种更准确的会话计算方法。