【问题标题】:ADF CDM Source Transformation not reading dataADF CDM 源转换未读取数据
【发布时间】:2020-11-15 21:48:45
【问题描述】:

我遇到了 Azure 数据工厂中通用数据模型的内联数据集的问题。 简单地说,ADF 中的所有内容似乎都连接并从我的清单文件和实体定义中读取——但是当我单击“数据预览”按钮时,我总是得到“无输出数据”——我觉得这很奇怪,因为可以完美地读取数据使用 CDM 连接器连接 PowerBI 中的相同文件时。我做错了什么意味着数据没有读入数据预览和映射数据流中的后续转换?

我的 Manifest 文件如下所示(引用示例实体):

{
    "$schema": "CdmManifest.cdm.json",
    "jsonSchemaSemanticVersion": "1.0.0",
    "imports": [
        {
            "corpusPath": "cdm:/foundations.cdm.json"
        }
    ],
    "manifestName": "manifestExample",
    "explanation": "example",
    "entities": [
        {
            "type": "LocalEntity",
            "entityName": "Entityname",
            "entityPath": "folder/EntityName.cdm.json/Entityname",
            "dataPartitions": [
                {
                    "location": "folder/data/Entityname/Entityname.csv",
                    "exhibitsTraits": [
                        {
                            "traitReference": "is.partition.format.CSV",
                            "arguments": [
                                {
                                    "name": "columnHeaders",
                                    "value": "true"
                                },
                                {
                                    "name": "delimiter",
                                    "value": ","
                                }
                            ]
                        }
                    ]
                }
            ]
        },
...

【问题讨论】:

  • 您能否确保您的数据“文件夹/数据/实体名称/实体名称.csv”上方的 ADLS Gen2 路径正确?另外,您是在 Source 还是 Sink 中点击“数据预览”?
  • 嗨@MadDog,你检查过马克所说的这个设置吗?你现在解决了吗?
  • 路径绝对正确(我相信,通过 PowerBI CDM 数据连接器可以看到它证明了这一点)并且检查在源转换的数据预览中。
  • 如果还不清楚,我使用的是 Manifest(不是 Model)元数据格式。
  • 同样的信息。现在它可以导出不是到 blob 存储,而是导出到数据湖存储第 2 代。

标签: azure-data-factory common-data-service


【解决方案1】:

我有完全相同的输出消息“无输出数据”。我正在使用 json 而不是清单。如果我下沉源它不会移动数据但没有错误。我的 CDM 源自 PowerBI 数据流。 PowerApps 运行良好,但历史记录和权限使其毫无用处。

编辑: 在微软关于预览功能的信息上,我们可以找到这个 screen。我会猜测,ADS 源的 CDM 与源自 Power BI 的源不同。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-08-01
    • 2021-08-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多