数据仓库

GraphiteMergeTree该引擎用来对Graphite数据(图数据)进行瘦身及汇总。对于想使用ClickHouse来存储Graphite数据的开发者来说可能有用。 如果不需要对Graphite数据做汇总，那么可以使用任意的ClickHouse表引擎；但若需要，那就采用GraphiteMerg ... »

MySQL 到 SelectDB 的实时数据同步技术，通过 NineData 的数据复制控制台，仅需轻点鼠标，即可轻松完成 MySQL 到 SelectDB 的同步任务配置。NineData 采用先进的数据同步技术，确保数据实时同步到 SelectDB，极大地降低了数据延迟，让您的决策基于最新数据。 ... »

# 数据仓库概览 ## 1.基本概念 ### 1.数据仓库架构 数据仓库环境包括**操作型系统**和**数据仓库系统**两个部分。操作型系统的数据由各种形式的业务数据组成，这些数据经过**抽取**、**转换**和**装载（ETL）**过程进入数据仓库系统。 ![img](https://img202 ... »

摘要：随着云计算的兴起和渗透，云数仓成为了数仓技术演进的新阶段，并且逐渐成为了众多企业的共同选择。 本文分享自华为云社区《从GaussDB(DWS)的技术演进，看数据仓库的积淀与新生》，作者： 华为云头条。 数据驱动着现代商业的发展 今天，无论在制造、零售、物流 还是在互联网、金融等行业 数据都变得 ... »

数据仓库是数据库的下一代产品形态 —— 如何对数字化转型过程中涌现的数据集合进行有效的存储、分析和利用，继而帮忙企业进行运营决策优化甚至创造出新的获客模式和商业模式形成竞争力，是企业主们亟需解决的问题。在数据价值爆发的时代背景中，数据仓库在千行百业中都有着相应的应用场景。 ... »

## SQL 1. 给一张城市和交易额表，一张城市对应省份表， 取出 省份 总 交易额大于 500 的 省份 的名字 ``` select max(tmp.province_name) from (select bt.city_num, bt.gmv, pt.province_num, pt.pro ... »

数据管理知识体系之数据仓库为企业数据中台的关键部分，本篇先从数据建设规范入手，接着介绍数仓分层、主题域划分原则，表处理规范和命名规范，最后说明指标定义、指标构成和指标 ... »

在本文中，我们将深入研究ClickHouse索引。我们将对此进行详细说明和讨论： ClickHouse的索引与传统的关系数据库有何不同 ClickHouse是怎样构建和使用主键稀疏索引的 ClickHouse索引的最佳实践 这篇文章主要关注稀疏索引，clickhouse主键使用的就是稀疏索引。 数据 ... »

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 物化视图是指将视图的计算结果存储在数据库中的一种技术。当用户执行查询时，数据库会直接从已经预计算好的结果中获取数据，而不需要重新计算视图。具体来说，物化视图是一种以表格形式存储的结果集合。当创建一个物化视图时，数据 ... »

摘要：华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。 本文分享自华为云社区《直播回顾 | 从数仓发展史浅析数仓未来技术趋势》，作者：胡辣汤。 ... »

摘要：华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。 本文分享自华为云社区《直播回顾 | 从数仓发展史浅析数仓未来技术趋势》，作者：胡辣汤。 ... »

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 前言 社区版 ClickHouse 推出了MaterializedMySQL数据库引擎，用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本，读取 Binlo ... »

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 前言 社区版 ClickHouse 推出了MaterializedMySQL数据库引擎，用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本，读取 Binlo ... »

目录 前言 正文 实战案例 ORC数据格式 Parquet数据格式 TextFile数据格式 总结 前言 什么是Hive？ Apache Hive 数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱 »

摘要：华为LakeFormation是企业级的一站式湖仓构建服务。 本文分享自华为云社区《华为云MRS支持LakeFormation能力,打造一站式湖仓，释放数据价值】》，作者：breakDawn 。 1 背景 1.1 数仓和数据湖的概念 数据分析技术在2010~2019年间，以湖仓两层架构技术作为 ... »

本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 »

再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ... »

AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。 可以使用AggregatingMergeTree表来做增量数据的聚合统计， ... »

SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储 ... »

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ... »