【问题标题】:Skip lines while reading csv - Azure Data Factory读取 csv 时跳过行 - Azure 数据工厂
【发布时间】:2020-09-16 14:30:04
【问题描述】:

我正在尝试使用管道中的数据流将数据从 Blob 复制到 Azure SQL。 数据文件为 csv 格式,标题位于 csv 文件的第 4 行。 我想使用 csv 数据文件中可用的标题。

我想循环浏览所有文件并上传数据。

谢谢

【问题讨论】:

  • 根据我的经验,恐怕我们可以做到。
  • 是否需要Header上方的3行?
  • 不要使用跳线。您将丢失前 3 行。添加一个行计数器(Surrogate Key 或 Window w/RowNumber),然后使用过滤器转换过滤掉标题行。
  • 我有一个 csv,它有 5 个额外的行,然后标题位于第 6 行。所以要阅读这个文件,我必须先跳过 5 行,然后使用第 6 行作为标题。这就是我卡住的地方。

标签: azure-data-factory azure-data-factory-2 azure-blob-storage azure-data-flow


【解决方案1】:

添加代理键转换,然后添加过滤器转换以过滤掉第 4 行。

【讨论】:

  • 假设我正在提取这个 csv 文件,它将占用第 1 列...第 2 列和...n。此时字段名称已经确定。我想跳过 5 行并将第 6 行用作 csv 的标题。
【解决方案2】:

您需要先取消选中 CSV 数据集中的“第一行作为标题”。然后,您可以使用复制数据活动源选项卡中的“跳过行数”字段并跳过您想要的任意数量的行。

【讨论】:

    猜你喜欢
    • 2021-05-01
    • 1970-01-01
    • 1970-01-01
    • 2022-11-03
    • 1970-01-01
    • 2021-09-28
    • 2021-09-08
    • 2020-03-18
    • 2019-06-08
    相关资源
    最近更新 更多