【发布时间】:2015-11-18 05:28:24
【问题描述】:
运行 MapReduce 作业时,输出文件夹不应存在,否则作业将失败。那么在定义一个 azure 数据工厂时,我如何定义一个活动来删除现有的输出文件夹? Oozie 有一个预处理活动,可用于删除 a 文件夹,但我不知道如何在数据工厂中执行此操作?
【问题讨论】:
标签: azure azure-data-factory cortana-intelligence
运行 MapReduce 作业时,输出文件夹不应存在,否则作业将失败。那么在定义一个 azure 数据工厂时,我如何定义一个活动来删除现有的输出文件夹? Oozie 有一个预处理活动,可用于删除 a 文件夹,但我不知道如何在数据工厂中执行此操作?
【问题讨论】:
标签: azure azure-data-factory cortana-intelligence
您可以在 MapReduce 活动之前添加一个自定义活动,该活动将使用编程方法通过编写可执行文件并从管道中调用它来删除文件夹。将此tutorial 用作参考和示例。基本上,您需要将可执行文件上传到 blob 存储,数据工厂将执行它。
【讨论】: