【问题标题】:azure data flow converting boolean to string天蓝色数据流将布尔值转换为字符串
【发布时间】:2021-10-22 07:19:29
【问题描述】:

我正在尝试使用 azure 数据流将大型 json 文件拆分为更小的块。它拆分文件,但将列类型布尔值更改为输出文件中的字符串。相同的数据流将用于具有不同模式的不同 json 文件,因此不能定义任何固定模式映射。我必须使用自动映射选项。请建议我如何解决这个自动数据类型转换的问题?或者还有其他方法可以在 azure 数据工厂中拆分文件吗?

【问题讨论】:

  • 是否可以在同步之前添加派生列,然后修改原始源属性的类型,以便您可以使用自动映射?

标签: azure-data-factory azure-data-factory-2 azure-data-lake-gen2


【解决方案1】:

在这里,我尝试使用我的数据集将源作为 json 文件,将 Sink 作为 json。如果您有一个固定的 Schema 并导入它,那么数据流可以正常工作,并且可以在运行管道后返回一个 boolean 值。

但正如您所说,“相同的数据流将用于具有不同模式的不同 json 文件,因此不能定义任何固定模式映射”。因此,您必须有一个 Derived Column 才能将所有值显式转换为 boolean 值。

导入架构:

**在水槽中,您可以检查:

数据预览:

【讨论】:

    【解决方案2】:

    在您的 ADF 数据流源转换中,单击投影选项卡,然后单击“定义默认格式”。为布尔 True/False 设置显式值,以便 ADF 可以使用该提示对您的数据进行正确的数据类型推断。

    【讨论】:

      猜你喜欢
      • 2016-05-22
      • 2018-09-07
      • 1970-01-01
      • 2012-03-10
      • 2012-12-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多