数据工程有很多方面。 数据工程师从事的最常见的项目之一是开发从可操作的数据库到数据仓库的ETL管道。 我们的团队希望涵盖ETL的总体设计。
典型的主要组成部分，阶段，注意事项等是什么？
我们首先编写“ 创建ETL第1部分” （以后会有更多内容）作为开始，现在，我们一直在制作下面的视频，逐步介绍该过程。 我们想讨论为什么每个阶段都很重要，以及数据从原始阶段到阶段阶段会发生什么，为什么我们需要原始数据库等等。
数据工程是一门复杂的学科，与自动化，编程，系统设计，数据库和分析合作，以确保分析人员，数据科学家和最终用户可以访问干净的数据。
这一切都从基本的ETL设计开始。
我们正在筹备一个网络研讨会，我们将主持使用Python和SQL进行ETL开发。 网络研讨会本身将具有更多的技术性，并将深入探讨视频中描述的每个组件。 但是，我们想看看使用白板的情况如何。
如果您想注册免费的网络研讨会，我们将在2月23日美国太平洋时间上午10点举办。 随时在下面注册！ 如果您还有其他疑问，请与我们联系 。
From: https://hackernoon.com/sql-best-practices-designing-an-etl-video-1933665f9861