ETL 处理中日志记录机制的最佳实践

Question

ETL 处理中记录机制的最佳实践是什么？

实际上我们正在开发ETL应用程序。在这个我们想使用日志分析来记录数据 任何人都可以提供符合行业标准的日志记录机制的最佳实践。

我用谷歌搜索了以下链接：https://www.timmitchell.net/post/2016/03/14/etl-logging/

感谢任何帮助。

提前致谢

Answer 1

我最近在组织中实施了合一。由于技术选择，它是定制的。以下是日志中包含的内容。

• 它充当任何 ETL 作业的包装器，也就是开发了一个模板并且该模板具有内置日志记录
• 模板具有主子作业和基于主子的日志功能
• 日志记录如下：

• 作业状态 - 成功、失败、警告
• 源详细信息（例如文件名或源表等名称）
• 数据分类标注
• 传入数据源的企业所有者
• 原始文件的行数与加载的行数

• 如果作业失败，向分发列表发送警报
• 如果作业失败，则通过服务台提出工单

这取决于您的要求，您可能希望捕获更多或更少。 祝你好运