【问题标题】:Azure ADF DataFlow failed while writing rowsAzure ADF DataFlow 在写入行时失败
【发布时间】:2021-09-10 14:54:26
【问题描述】:

我在 Azure 数据工厂中有将 parquet 文件转换为 csv 的数据流。 当我有 10 个大小为 10 KB 的文件时,它可以工作。 但是,如果我有 3 个大小为 22 KB 的文件,则会出现“写入行时失败”错误。

你知道什么是可能的解决方案吗?

【问题讨论】:

    标签: azure export-to-csv azure-data-factory dataflow azure-data-flow


    【解决方案1】:

    提供的信息不充分。您可以尝试增加核心尺寸,如果对您有帮助,还可以查看下面的博客。

    Click Here

    【讨论】:

    • 但是,这不是文件大小的问题,而是“标题”列的问题。可能有些行包含禁止字符。
    【解决方案2】:

    Parquet 文件标准不允许某些特殊字符。使用选择变换或接收变换将这些列重新映射为不同的名称。您也可以使用模式匹配来重命名所有此类列。

    【讨论】:

    • Databricks 可以读取并轻松转换为 csv。
    猜你喜欢
    • 2018-10-18
    • 1970-01-01
    • 1970-01-01
    • 2018-06-12
    • 2019-05-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-07-02
    相关资源
    最近更新 更多