【问题标题】:azure data factory dependencies天蓝色数据工厂依赖项
【发布时间】:2018-03-27 00:27:58
【问题描述】:

我的 Azure 数据工厂中有两个活动。

活动 A1 = sql db 上的存储过程。输入 = 无,输出 = DB(输出 1)。存储过程以输出数据集为目标。

Activity A2 = 一个天蓝色的复制活动(“type”:“Copy”),它从 blob 复制到同一个 sql db。输入 = blob,输出 = DB(输出2)

我需要在 A2 之前运行活动 A1,我无法弄清楚在它们之间放置什么依赖关系。

我试图将 A2 标记为具有两个输入 - blob + DB(输出 1)。如果我这样做,复制活动不会引发错误,但它不会将 blob 复制到 db(我认为它默默地使用 DB 作为复制源,而不是 blob 作为复制源并且不知何故什么都不做)。

如果我删除 A2 上的 DB 输入(输出 1),它可以成功地将 blob 复制到 DB,但我不再拥有 A1 需要在 A2 之前运行的依赖链

谢谢!

【问题讨论】:

    标签: azure-data-factory


    【解决方案1】:

    我想通了 - 我能够在 A2 上保留两个依赖项,但只需要确保 2 个输入的顺序。诡异的。看起来复制活动只作用于第一个输入 - 所以当我将 blob 作为第一个输入移动时,它起作用了! :) (早些时候我将 DB output1 作为第一个输入,它默默地什么也没做)

     "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "SqlSink",
                        "writeBatchSize": 0,
                        "writeBatchTimeout": "00:00:00"
                    }
                },
                "inputs": [
                    {
                        "name": "MyBlobInput"
                    },
                    {
                        "name": "MyDBOutput1"
                    }
                ],
                "outputs": [
                    {
                        "name": "MyDBOutput2"
                    }
                ],
                "policy": {
                    "timeout": "01:00:00",
                    "concurrency": 3,
                    "retry": 3
                },
                "scheduler": {
                    "frequency": "Day",
                    "interval": 1
                },
                "name": "AzureBlobtoSQL",
                "description": "Copy Activity"
            }
        ],
    

    【讨论】:

    • 是的,在 ADFv1 中,这是 MSoft 告诉我们这样做的方式。很好的发现!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-03-28
    • 1970-01-01
    • 2022-07-25
    • 1970-01-01
    • 2017-05-14
    相关资源
    最近更新 更多