【问题标题】:SSAS - how to perform partial cube processing without losing dataSSAS - 如何在不丢失数据的情况下执行部分多维数据集处理
【发布时间】:2020-01-18 08:24:26
【问题描述】:

我有一个多维数据集,其中度量组在不同的时间范围内分为 2 个分区,如下所示:

  1. 最近 2 年的数据 (PRT_DATA_2YEARS)

  2. 超过 2 年的旧数据 (PRT_DATA_REST)

通过处理第一个分区(使用任何处理选项),如何确保仅处理/刷新最近 2 年的数据?这意味着只会更新最近 2 年的数据,其余数据将保持不变。

示例:假设数据库上的实际数据在所有年份都得到了更新。直到现在立方体还没有反映这些变化,因为它还没有处理。现在我们运行多维数据集处理作业,它将仅更新或获取多维数据集中最近 2 年的更新数据。其余数据将完好无损。超过 2 年的多维数据集数据不会有任何变化。

请求您帮助解决这个问题。

欢迎任何建议/提示/技巧。

问候

【问题讨论】:

    标签: sql-server ssis ssas cube msbi


    【解决方案1】:

    我建议您更改滑动窗口分区。例如,昨天当您处理“最近 2 年”分区时,它包含 2018 年 1 月 18 日至 2020 年 1 月 17 日。(或者我不确定它是否是全年边界,但要点是一样的。)如果您重新处理该分区那么您将丢失 2018 年 1 月 18 日的数据,并且这也必须重新处理旧分区。

    改为切换到 5 个分区:2016、2017、2018、2019 和 2020。然后您应该能够仅重新处理 2020 分区,而不必重新处理之前的分区。基本上可以实现增量处理。当您准备好停止报告 2016 年数据时,请删除该分区并创建 2021 年分区。

    【讨论】:

    • 感谢 Greg 的回复。由于我还必须处理维度,您不认为处理 2 个分区(2019 和 2020)会删除其他分区的其余数据吗?
    • @ScriptSoft 我假设它是多维的。不。 ProcessUpdate 哦,维度,然后是 2019 年和 2020 年分区上的 ProcessData,然后是多维数据集上的 ProcessIndexes 将让您在不重新处理前几年的情况下进行处理。但是时间完全重新处理与增量,因为可能完全重新处理(数据库上的 ProcessFull)更快。
    • 感谢@Greg,此时时间不是限制,而是管理需求。我将尝试并测试您建议的通知方式。我是否也可以在我的原始分区 (PRT_DATA_2YEARS) 上尝试相同的方法,并且之前的分区 (PRT_DATA_REST) 不会受到影响?
    • 你好,格雷格,很抱歉很久才回复。我已经测试了你建议的方式。 1. ProcessUpdate(Dimensions), ProcessData(Partitions), ProcessIndex(Cube) 2. 从 1 个 Dim、1 个分区、相关的 1 个立方体启动此方法。并随着它的增长而扩展。每次它都给出预期的结果。最后,所有暗淡、分区、立方体,它成功了,我得到了预期的结果。 3. 正如建议的那样,自测试开始以来,我还将所有对象都包含在一个处理任务中。非常感谢您的建议。这对我帮助很大。
    • @ScriptSoft 如果您需要每天处理更新维度,请确保您也确保多维数据集和度量组上的 ProcessIndexes 应该没问题。
    【解决方案2】:

    首先,确保所有分区的存储方式都定义为 MOLAP(不是 ROLAP 或 HOLAP),然后只处理一个分区,其他分区不受影响。 但请确保您没有处理与其他分区相关的维度(如果需要重新处理,请尝试使用 ProcessAdd 方法)。

    【讨论】:

    • 您好 Hadi,非常感谢您的回复,但我也必须处理维度,因为 ssas 数据库中有 8 个多维数据集,并且这些多维数据集之间共享许多维度。
    • @ScriptSoft 尽可能尝试进行增量处理(了解 ProcessAdd)
    • 感谢您的建议,但是多维数据集的基表可以预期任何类型的 sql(插入/更新/删除),在处理后应该反映在多维数据集中,因此它不会以这种方式工作。
    • @ScriptSoft 我不认为你可以这样做,因为如果你每次都需要处理维度(ProcessFull 或 ProcessUpdate)所有相关的分区都应该被处理
    • 这么说,是不是说这在SSAS中根本无法实现?即使根据您的经验,也没有任何解决方法?
    猜你喜欢
    • 1970-01-01
    • 2022-01-03
    • 1970-01-01
    • 2023-03-13
    • 2012-04-30
    • 2020-02-21
    • 1970-01-01
    • 2018-07-23
    • 1970-01-01
    相关资源
    最近更新 更多