OLAP、OLTP、数据仓库、分析、分析和数据挖掘如何相关？

Question

我试图了解什么是 OLAP、OLTP、数据挖掘、分析等，但我觉得我对其中一些概念的理解仍然有些模糊。有关这些主题的信息往往在互联网上以非常复杂的方式进行解释。

---

我觉得这样的问题可能会被关闭，因为它是一个非常广泛的问题，所以我将尝试将其缩小为两个问题：

问题 1：

经过研究，我对这些概念的理解如下，对吗？

• 分析是分解复杂的东西，以更好地了解内部运作。
• 分析是对需要大量数学和统计信息的信息进行预测分析。
• 有许多类型的数据库，但它们要么是 OLTP（事务），要么是 OLAP（分析）。
• OLTP 数据库使用 ER 图，因此更容易更新，因为它们是标准化的形式。
• 相比之下，OLAP 使用非规范化星型模式，因此更易于查询
• OLAP 用于预测分析，OLTP 通常用于更实际的情况，因为没有冗余。
• 数据仓库是一种 OLAP 数据库，通常由多个其他数据库组成。
• 数据挖掘是一种用于分析的工具，您可以在其中使用计算机软件找出数据之间的关系，以便您可以预测事物（例如客户行为）。

问题 2：

我对分析和分析之间的区别感到特别困惑。他们说分析是多维分析，但这是什么意思？

Answer 1

我会试着从金字塔的顶端给你解释：

商业智能（您没有提到的）是 IT 中的术语，它代表复杂系统并从数据中提供有关公司的有用信息。

因此，BI 系统具有目标： 干净、准确且有意义的信息。 干净意味着没有技术问题（缺少密钥、不完整的数据等）。准确意味着准确 - BI 系统也被用作生产数据库的故障检查器（逻辑故障 - 即发票账单太高，或使用了不活跃的合作伙伴等）。它是通过规则完成的。有意义很难解释，但用简单的英语，它就是你想要的所有数据（甚至是上次会议的 excel 表）。

所以，BI 系统有后端：它是数据仓库。 DWH 只不过是一个数据库（实例，而不是软件）。它可以存储在 RDBMS、分析数据库（列或文档存储类型）或 NoSQL 数据库中。

数据仓库是我上面解释过的通常用于整个数据库的术语。可能有许多 数据集市（如果使用 Kimball 模型） - 更常见的是，或称为 企业数据仓库的第 3 规范化形式（Inmon 模型）的关系系统。

数据集市是 DWH 中相关的表（星型模式、雪花模式）。事实表（非规范化形式的业务流程）和维度表。

每个数据集市代表一个业务流程。示例：DWH 有 3 个数据集市。一是零售，二是出口，三是进口。在零售中，您可以按 SKU、日期、商店、城市等（维度）查看总销售额、销售数量、进口价格、利润（度量）。

在 DWH 中加载数据称为 ETL（提取、转换、加载）。

1. 从多个来源（ERP 数据库、CRM 数据库、excel 文件、Web 服务...）提取数据

2. 转换数据（清理数据、连接来自不同来源的数据、匹配键、挖掘数据）

3. 加载数据（在特定数据集市中加载转换后的数据）

因注释而编辑： ETL 过程通常使用 ETL 工具创建，或者使用某些编程语言（python、c# 等）和 API 手动创建。

ETL 过程是一组相关的 SQL、过程、脚本和规则，分为 3 个部分（见上图），由元数据控制。 它可以是预定的（每晚、每隔几个小时），也可以是实时的（变更数据捕获、触发器、事务）。

OLTP 和 OLAP 是数据处理类型。 OLTP 用于事务目的，在数据​​库和软件之间（通常只有一种输入/输出数据方式）。 OLAP 用于分析目的，这意味着有多个来源、历史数据、高选择查询性能、挖掘数据。

因评论而编辑： 数据处理是数据存储和从数据库访问的方式。因此，根据您的需要，以不同的方式设置数据库。

图片来自http://datawarehouse4u.info/：

数据挖掘是在大型数据集中发现模式的计算过程。挖掘的数据可以让您更深入地了解业务流程甚至预测。

Analysis 是一个动词，在 BI 世界中意味着从数据中获取询问信息的简单性。多维分析实际上说明了系统如何对数据进行切片（在多维数据集中具有维度）。维基百科说数据分析是检查数据的过程，目的是发现有用的信息。

Analytics是名词，表示分析过程的结果。

不要对这两个词大惊小怪。

Answer 2

我可以告诉您有关数据挖掘的信息，因为我有数据挖掘项目。数据挖掘不是一种工具，它是一种挖掘数据的方法，用于数据挖掘的不同工具是 WEKA、RAPID MINER 等。数据挖掘遵循许多内置在 Weka、Rapid Miner 等工具中的算法。聚类算法、关联算法等算法。 我可以给你一个数据挖掘的简单例子。老师在课堂上使用不同的教学方法教授科学科目，如使用黑板、演示、实用。所以现在我们的目标是找到适合学生的方法。然后我们进行调查并听取学生的意见 40 名学生喜欢粉笔板，30 名学生喜欢演示，20 名学生喜欢实用方法。因此，借助这些数据，我们可以制定规则，例如科学科目应该用黑板法教授。 要了解不同的算法，您可以使用 google :D。