【问题标题】:How to rename file name in ADF?如何重命名 ADF 中的文件名?
【发布时间】:2021-08-21 08:37:20
【问题描述】:

我正在将数据从 sql 动态复制到 adls,我想在复制到 ADLS 后重命名文件名。如何实现?请求您的建议。

提前致谢。

问候, 阿肖克

【问题讨论】:

  • 接收端的文件类型是什么?文件命名规则是否基于表名?
  • @HarrisXu:动态地,我们根据源表名生成文件名并将其存储为 ADLS parquet 格式

标签: azure-data-factory azure-data-factory-2 azure-data-factory-pipeline


【解决方案1】:

我的第一个问题是“为什么要重命名 parquet 文件?”希望您没有生成单个 parquet 文件,这似乎违背了使用 Parquet 的目的。相反,我的重点将放在文件夹名称上。

选项 1

如果我确实关心文件名,我会使用数据流并将接收器配置为使用模式命名:

然后您可以将所需的文件名作为数据流参数传递:

并使用表达式动态设置:

[注意:我没有测试过这种语法,但我建议您始终使用表达式生成器来输入这些表达式]。

选项 2

如果这些都不符合您的目的,那么另一种选择将是蛮力。使用带有二进制数据集的 COPY 活动将文件复制到具有所需名称的新文件,然后使用 DELETE 活动删除旧文件。

【讨论】:

    猜你喜欢
    • 2020-03-23
    • 2023-01-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-11
    • 1970-01-01
    相关资源
    最近更新 更多