我需要ETL吗？答案

【问题标题】：Do I need a ETL?我需要ETL吗？
【发布时间】：2011-02-24 03:13:24
【问题描述】：

我们目前使用 Datastage ETL 来 - 每天导出一个包含 15 个表（3 个不同模式）数据的 CSV/文本文件。

我想知道是否有更简单的方法可以在不使用 ETL 的情况下完成此操作。我试过 Scriptella。它看起来简单/快速，但它又是一个 ETL。请建议..

【问题讨论】：

我想问“我需要 ETL 工具吗？”是更合适的问题。只是问“我需要 ETL 吗？”就像问“我需要将数据从一个地方移动到另一个地方吗？” - 这个问题的答案将取决于您正在从事的项目。

标签： etl

【解决方案1】：

我们使用 Python。每一种编程语言——每一种曾经发明过的语言——都是 ETL 的替代品。

您永远需要 ETL。

问题如下：

【讨论】：

@S.Lott - 感谢您的回复。正如我所说，因为我们想摆脱 ETL，我们正在考虑做一些轻量级和快速的事情，例如ruby/java（虽然不是轻量级的），以便当前的开发人员可以编写/维护代码（我们不需要聘请 ETL 人员）。我们目前没有 Python 专业知识。我们之前使用 java 来完成类似的任务，但我们想知道其他人是如何解决同样问题的。
@pingu - 我们使用 perl。您应该在某种所谓的“脚本语言”方面获得一些经验。这种事情是微不足道的。
@pingu：“我们想知道其他人是如何解决同样问题的”。我说Python。你还想知道什么？
今天我已经完成了我们公司的 ETL 工作。我之前认为 ETL 中会有很多东西，例如ORM 来提高性能，但它看起来很简单，有一些 UI（谁在乎），没有你们说的那么复杂。我觉得所有这些都可以使用 Java 和 Ant（或 Lott 指出的任何语言）轻松完成。谢谢你们。
如果您的程序正在提取数据，对其进行转换然后将其加载到某处：这就是所谓的 ETL！您所做的任何小脚本都是 ETL。您总是需要一个 ETL 程序。

【解决方案2】：

为什么不使用 expressor Studio 等免费且易于使用的 ETL 工具。您可以在http://www.expressorstudio.com 下载它。

【讨论】：

【解决方案3】：

我的 2 美分。

Datastage 是一个糟糕的工具，而且许可成本很高。

SSIS 简单多了，还是 cloverETL 好。

ETL 工具 vs 代码是个好问题。

ETL 工具通常具有更好的性能，因为可以将数据排队等待使用编程将一次执行此操作，而 datastage 可以并行执行此操作（但我认为它再次失败）。 PLus ETL 工具可以从多个异构来源获取数据，而您无法（轻松）使用代码做到这一点。

但是，如果任何数据转换等都需要在同一台服务器上完成，我通常会尽可能多地使用 SQL/TSQL（或 PL/SQL），因为它更容易调试/维持。主键/外键是您的朋友，任何错过的查找都可以通过稍后的检查计数来检查，以确保数据完整性。

【讨论】：

【解决方案4】：

您不需要为此目的使用 ETL 工具。您可以使用 python 执行所有任务，包括从 CSV/XML/文本文件中提取数据、转换数据（识别数据类型、空值转换）和加载到表中。 https://towardsdatascience.com/python-etl-tools-best-8-options-5ef731e70b49

【讨论】：

我认为他们在 9 年零 9 个月前提出这个问题后可能已经找到了解决方案。
我目前正在做ETL，我认为我使用的资源可能对其他人有帮助，所以我提出了我的想法。
我明白，但您发布了一个链接。该链接将来可能会消失，然后信息就会丢失。您可以发布一个带有一些代码或更简洁信息的示例。此外，已经有一个推荐 Python 的答案被接受并获得了 11 个赞成票。您的回答并未添加更多重要信息。

【解决方案5】：

ETL 绝对可以在没有 ETL 工具的帮助下执行。例如：我们可以开发 python 脚本或者有像 Drift 这样的开源来使用它。

【讨论】：

【解决方案6】：

我认为最好使用便宜的 ETL 工具来完成您的任务。因为 ETL 工具总是比代码工作得更好，并且使您的任务变得简单。 ETL Tool Vs Manual Script

“根据 IT 研究公司 Forrester 的说法，低代码开发到 2022 年，平台市场价值将达到 212 亿美元以每年 40% 的速度增长。更重要的是，45% 的开发人员已经使用过低代码平台或希望在不久的将来这样做未来。”

【讨论】：