【问题标题】:Azure Purview - JSON properties in ADLSGen2 store are getting messed upAzure Purview - ADLSGen2 存储中的 JSON 属性变得混乱
【发布时间】:2021-05-19 19:30:37
【问题描述】:

我有一个 ADLS Gen2 湖。在湖中我有一个分类。

/environment/source/system/entity/myspecificfilenameconvention/*.json

Purview 似乎很好地接受了我的路径和约定,但是它正在修改一个简单的 JSON 文件格式并在 UI 中提供它!

文件格式非常简单,如下所示。知道为什么 Purview 要用它来做狗早餐吗?

[
    {
        "attributes": {
            "type": "MyType",
            "url": "/path"
        },
        "Id": "11111",
        "IsDeleted": false,
        "AccountId": "222222",
        "CreatedById": "333333",
        "CreatedDate": "2019-10-26T08:43:04.000+0000",
        "Field": "created",
        "OldValue": null,
        "NewValue": null
    }, ...

【问题讨论】:

  • 将文件保存为 UTF-8,而不是 UTF-16
  • 感谢@HongOoi,但我有 100 GB 的东西。数以万计的文件。
  • 编写程序进行转换
  • 谢谢 - 我们正在制定一个计划,数据按计划每小时流入湖中,因此我们需要考虑一下。
  • 理想情况下,更改您的源以生成 UTF-8 输出,JSON 被定义为 UTF-8,因此它现在不合规

标签: azure azure-data-lake azure-data-lake-gen2 azure-purview


【解决方案1】:

感谢@Hong Ooi 的评论。只需发布一个答案即可结束此问题:

“将文件另存为 UTF-8,而不是 UTF-16”起到了作用。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-06-30
    • 2020-09-14
    • 2011-04-23
    • 2016-11-08
    • 2019-04-04
    • 2021-12-31
    相关资源
    最近更新 更多