比较两个 azure 数据工厂管道的基准答案

【问题标题】：Benchmarks to compare two azure data factory pipelines比较两个 azure 数据工厂管道的基准
【发布时间】：2020-08-31 12:11:16
【问题描述】：

我已经为相同的功能构建了两个具有不同转换的管道。

是否有任何基准来比较这两个管道的效率和/或资源利用率？

详细解释：管道 1：仅使用 2 个映射数据流。一个有 4 个变换，另一个有 20 个变换。管道 2：使用 2 个映射数据流。一个有 4 个转换，第二个 DF 另一个有 15 个转换和 Databricks 笔记本。

我想比较这两个管道 1.效率 2.资源利用 3.费用

任何输入？

谢谢

【问题讨论】：

标签： azure azure-data-factory azure-databricks

【解决方案1】：

我认为您可以比较管道的输出，输出包含您想要的值。

这是管道执行的输出示例：

{
    "dataRead": 8192,
    "dataWritten": 612,
    "filesRead": 1,
    "sourcePeakConnections": 1,
    "sinkPeakConnections": 2,
    "rowsRead": 1,
    "rowsCopied": 1,
    "copyDuration": 12,
    "throughput": 0.667,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 4,
    "billingReference": {
        "activityType": "DataMovement",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "DIUHours"
            }
        ]
    },
    "usedParallelCopies": 1,
    "executionDetails": [
        {
            "source": {
                "type": "AzureBlobStorage",
                "region": "Central US"
            },
            "sink": {
                "type": "AzureSqlDatabase",
                "region": "East US"
            },
            "status": "Succeeded",
            "start": "2020-09-01T08:20:09.1734161Z",
            "duration": 12,
            "usedDataIntegrationUnits": 4,
            "usedParallelCopies": 1,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 9
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 3,
                    "details": {
                        "listingSource": {
                            "type": "AzureBlobStorage",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AzureBlobStorage",
                            "workingDuration": 0
                        },
                        "writingToSink": {
                            "type": "AzureSqlDatabase",
                            "workingDuration": 0
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 9,
                "transferDuration": 3
            }
        }
    ],
    "dataConsistencyVerification": {
        "VerificationResult": "NotVerified"
    },
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

在传送门上：

【讨论】：