【问题标题】:Read schema information from a parquet format file stored in azure data lake gen2从存储在 azure data Lake gen2 中的 parquet 格式文件中读取架构信息
【发布时间】:2021-12-14 18:04:05
【问题描述】:

我有一个 parquet 格式表存储在 azure data Lake gen2 中,该表直接连接到 azure synapse 中的外部表。 我正在尝试用 sql 语言制定一个逻辑,它将读取该 parquet 文件表的架构并将其动态粘贴到外部表列名上。

如果您对此有任何想法/逻辑,请告诉我。

【问题讨论】:

    标签: parquet azure-synapse azure-data-lake-gen2


    【解决方案1】:

    使用 Synapse Studio 的 Data Lake 探索功能,您现在只需右键单击文件即可使用 Synapse SQL 池创建和查询外部表。仅 Parquet 文件支持从 ADLS Gen2 存储帐户创建外部表的一键手势。

    我使用示例 parquet 文件重现了该要求。根据需要,文件存储在与 Synapse Workspace 链接的 Data Lake Lake Gen2 中。

    从“数据”面板中,选择您要从中创建外部表的文件:

    将打开一个对话窗口。选择专用 SQL 池或无服务器 SQL 池,为表命名并选择打开脚本:

    SQL 脚本是根据文件推断架构自动生成的。 脚本将从 parquet 文件中读取列名。您可以编辑列名并运行脚本。该脚本将自动运行 Select Top 100 *。:

    【讨论】:

      猜你喜欢
      • 2021-03-26
      • 2021-10-02
      • 2020-09-22
      • 1970-01-01
      • 1970-01-01
      • 2019-11-26
      • 1970-01-01
      • 2019-09-10
      • 2020-02-22
      相关资源
      最近更新 更多