带有 github_repos 数据集的 GCP BigQuery 上的 SQL 查询验证失败答案

【问题标题】：SQL Query validation failure on GCP BigQuery with github_repos dataset带有 github_repos 数据集的 GCP BigQuery 上的 SQL 查询验证失败
【发布时间】：2020-03-11 01:56:45
【问题描述】：

我想使用以下命令获取 GutHub 上所有唯一存储库的列表：

SELECT DISTINCT repo_name FROM `bigquery-public-data.github_repos.commits`

但是我得到以下错误：

ARRAY 类型的列 repo_name 不能在 [1:17] 的 SELECT DISTINCT 中使用

在架构中说 repo_name 是 STRING 类型，我做错了什么？

【问题讨论】：

标签： sql google-cloud-platform google-bigquery github-api

【解决方案1】：

正如另一位用户发布的那样，在bigquery-public-data.github_repos.commits 表的架构中，您可以看到repo_name 字段被定义为STRING REPEATED，这意味着repo_name 的每个条目都是由字符串类型构成的数组元素。您可以通过以下查询看到这一点：

#standardSQL
SELECT repo_name 
FROM `bigquery-public-data.github_repos.commits` 
LIMIT 100;

为了找到不同的 repo 名称，您可以使用 UNNEST 运算符来扩展每个 repo_name 元素。以下查询执行 CROSS JOIN，将新字段 repo_name_single 添加到由各个存储库名称构成的表中。这样就可以使用DISTINCT函数了。

#standardSQL
SELECT DISTINCT(repo_name_unnest) 
FROM `bigquery-public-data.github_repos.commits` 
CROSS JOIN UNNEST(repo_name) AS repo_name_unnest;

【讨论】：

【解决方案2】：

您可以使用以下查询

SELECT 
    commit
   , repo_name 
FROM 
   `bigquery-public-data.github_repos.commits`, 
    UNNEST(repo_name) as repo_name 
WHERE 
    commit = 'c87298e36356ac19519a93dee3dfac8ebffe45e8'

这将给出如下结果

Row |  commit                                  | repo_name
===================================================================
1   | c87298e36356ac19519a93dee3dfac8ebffe45e8 | noondaysun/sakai
2   | c87298e36356ac19519a93dee3dfac8ebffe45e8 | OpenCollabZA/sakai

【讨论】：

我实际上想运行一个查询，它会从存储在大查询中的所有提交中为我提供 GitHub 上所有唯一存储库的列表。如果我没记错的话，您的查询将返回具有特定提交哈希的所有存储库。
您可以将 where 条件和您的 select 语句删除到 SELECT distinct (repo_name) 。我添加了 where 条件以不运行整个查询。如果这有帮助，请接受答案。
SELECT DISTINCT (repo_name) FROM bigquery-public-data.github_repos.commits', UNNEST(repo_name) as repo_name我将查询格式化为如下所示？
应该可以正常工作。如果这个答案有用，请接受答案

【解决方案3】：

repo_name 在表架构中定义为模式为“重复”的“字符串”，大致表示 BigQuery 中的字符串数组。

https://cloud.google.com/bigquery/docs/nested-repeated

What does REPEATED field in Google Bigquery mean?

【讨论】：

我明白了，这对了解很有帮助，谢谢！现在我必须弄清楚如何为数组类型制作查询。