【问题标题】:How do you implement Data Quality & Validation rules in a data warehouse?您如何在数据仓库中实施数据质量和验证规则?
【发布时间】:2010-02-02 21:46:58
【问题描述】:

我正在开发一个数据仓库,作为我公司企业应用程序套件的一部分。所以我一直在学习很多关于 DW 概念的知识,但是规则引擎似乎很困难,而且我找不到很多关于各种实现方式的信息。规则的重点是验证数据质量,并在达到某些业务指标时发出警报(例如,当月销售额为 $xx.xx)

我们的应用需要为每个客户定制,所以我想让规则通用。实现规则引擎的方法有哪些?

  1. 现成的工具? (我会重新分配,所以这通常不会很好)
  2. 框架/API
  3. 用于创建我们自己的设计模式
  4. 其他想法

谢谢。

【问题讨论】:

    标签: .net sql-server data-warehouse rules rule-engine


    【解决方案1】:

    将这视为让几个独立的系统协同工作可能会有所帮助——而不是一个“大引擎”负责所有事情。

    谈到“业务指标”,请查看 KPIs(关键绩效指标)。分析引擎(MS-SSASPentaho-Mondrian 等)允许对 KPI 进行简单的定义和展示(仪表板)。如果您自己开发,您可能仍然对这个概念有所了解。

    数据质量主要由“操作系统”负责,即收集数据的地方。如果垃圾到达 DW,那就太晚了。使用 data profiling tools 了解源数据的外观 - 必须在源头强制执行数据质量。

    在 DW 加载过程中,您可以使用逐步 ECCD(Extract、Clean、Conform、Deliver)的方法来实现某些“数据标准”。 ETL 工具(MS-SSISPentaho-KettleOracle Data Itegrator 等)旨在帮助解决此问题。

    关于规则引擎,请看inruleILOGFicoCorticon strong>、Jboss Drools 等。这些是“独立系统”,在与操作系统协调时可用于执行业务规则。执行业务规则通常会提高数据质量。您可以下载 Drools 并很快开始修改,其他供应商也允许免费下载。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2021-01-22
      • 1970-01-01
      • 2020-05-10
      • 1970-01-01
      • 2020-10-29
      • 1970-01-01
      • 2020-09-24
      相关资源
      最近更新 更多