Azure Synapse Pipeline 从 BigQuery 复制数据，其中源架构是带有嵌套列的分层结构

Question

请帮助我使用无服务器 SQL 池将数据从 Google BigQuery 复制到 Azure Data Lake Storage Gen2。

我正在使用 Azure Synapse 的复制数据管道。问题是我无法弄清楚如何使用分层架构处理来自 BigQuery 的源表。这会导致接收器中缺少列和不准确的日期时间值。

源是一个Google BigQuery 表，它是由Google Cloud Billing 导出的一个项目的标准使用成本。源表的模式是分层的，具有嵌套列，例如 service.id；服务说明; sku.id; sku.描述；项目.labels.key； Project.labels.value 等

当我从复制数据管道的源选项卡中单击预览数据时，它只会给我列层次结构的顶部，例如：它只会显示 [service] 的列名称和 {\v" 的值： {"f":[{"v":"[service.id]"},{"v":[service.descrpition]"}]}} image description: Source with nested columns result in issues with Synapse Copy Data Pipline

我尝试使用以下内容配置复制管道：
来源标签： 使用查询 - 我认为解决方案就在这里，但我无法弄清楚选择正确列的语法。我观看了 TechBrothersIT How to Pass Parameters to SQL query in Azure Data Factory - ADF Tutorial 2021 的 Youtube 视频，但仍然无法执行。

水槽标签：

1.以 csv、json 和 parquet 的各种格式接收数据集 - csv 和 parquet 得到相似的结果，而 json 格式失败

2.将数据集汇入 Azure SQL 数据库 - 失败，因为无服务器 SQL 池不支持它

3.映射选项卡: 注意：在 1 月 22 日用屏幕截图显示问题进行了编辑。

1. 尝试使用导入模式，使用 None, Flatten Hierarchy and Preserve Hierarchy 的 Sink Tab 复制行为，但仍然无法将源列识别为 Hierarchical。无法获取集合参考或高级编辑器配置以显示。参考：Screenshot of Source columns not detected as HierarchicalMS Doc on Schema and data type mapping in copy activity

   我也尝试过数据流管道，但它不支持 Google BigQueryData Flow Pipe Source do not support BigQuery yet

   以下是重现/了解我的情况的步骤：

   1. 注册谷歌云，设置账单导出（标准使用成本）到 BigQuery。
   2. 在 Azure Synapse Analytics 中，创建具有用户身份验证的链接服务。请关注 Data Tech 的 Youtube 视频 "Google BigQuery connection (or linked service) in Azure Synapse analytics"
   3. 在 Azure Synapse Analytics 中，Integrate，单击“+”号 -> Copy Data Tool

      我相信答案在带有查询和函数的源选项卡中，请帮助我解决这个问题，或者为我指明正确的方向。

      期待您的意见。提前致谢！

Answer 1

ADF 允许您在google bigquery source dataset 中编写查询。因此，使用 unnest operator 编写查询以解除嵌套列的嵌套，然后将其映射到接收器。

我试图用示例嵌套表来重现它。 img:1 嵌套表格

img:2 嵌套表的样本数据

压平嵌套表的脚本：

select
user_id,
a.post_id,
a.creation_date
from  `ds1.stackoverflow_nested`  
cross  join unnest(comments) a

img:3 展平表。

• 在复制活动源数据集中使用此查询。 img:4 复制活动的源设置。
• 然后获取接收器数据集，进行映射并执行 ADF 管道。

参考：

1. MS 文档google bigquery as a source - ADF
2. unnest operator上的GC文档