【问题标题】:Conditional data retention policy in Azure Data Explorer (Kusto)Azure 数据资源管理器 (Kusto) 中的条件数据保留策略
【发布时间】:2021-06-20 12:57:21
【问题描述】:

当前的 Kusto 数据保留政策主要基于提取时间。我想知道是否有一种方法可以定义基于其他条件的数据保留策略,或者模拟有条件的数据保留策略行为的任何方法。

例如,我只想删除数据库中的某个项目,前提是该项目的更新版本(例如,由 ID 列定义)被摄取;否则,我希望将项目保留在数据库中,而不管其摄取时间。如何实现?

【问题讨论】:

    标签: azure-data-explorer kql


    【解决方案1】:

    我想删除数据库中的一个项目,只有当有更新版本的相同项目(例如,由 ID 列定义)被摄取时

    您可以考虑创建一个使用summarize arg_max(version_column, *) by id_columnmaterialized view - 不会删除旧记录,但如果您查询的是视图而不是包含原始数据的表,它们将在您的查询中不可见。

    【讨论】:

    • 对。但是由于我们实际上并没有删除数据,所以整体数据大小仍然是我们的问题。我认为 Kusto 在数据容量方面仅提供 4T max。
    • > “我认为 Kusto 在数据容量方面仅提供 4T 最大值” 您提到的限制是某些 SKU 中每个节点的缓存大小。它不是表大小的限制(不存在这样的限制)。为了降低成本,您可以将原始表上的缓存策略配置为最小,在这种情况下 - 它在磁盘上的大小会更小
    • 这很有趣。这可能是我们一直在寻找的东西。谢谢!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-08-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多