使用 Deequ 和 Scala 计算指标

Question

我是Scala 和Amazon Deequ 的新手。我被要求编写一个Scala 代码，该代码将通过在存储在S3 上的源csv 文件上使用Deequ 来计算关于约束的指标（例如Completeness、CountDistinct 等），并加载生成的指标在 Glue 表中，该表将进一步用于报告。

谁能帮我指出正确的在线资源方向来帮助我实现这一目标？我对Scala 和Deequ 都是新手。那么谁能给我一个示例Scala 代码并解释如何使用deequ 库等？

如果需要更多信息来更好地解释我的问题，请告诉我。

Answer 1

感谢您对 Deequ 的关注。 deequ 的 github 页面有关于如何开始使用它的信息：https://github.com/awslabs/deequ

此外，AWS 博客上还有一篇博文，其中包含一些示例：https://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/

最好， 塞巴斯蒂安

Answer 2

您可以在此处查看可用示例：https://github.com/awslabs/deequ/tree/master/src/main/scala/com/amazon/deequ/examples

希望对您有所帮助。

也花点时间阅读文档。