需要有关数据管道创建的设计输入

【问题标题】：Need design inputs on data pipeline creation需要有关数据管道创建的设计输入
【发布时间】：2019-03-14 10:58:10
【问题描述】：

对于所有 AWS 专家，我需要您的帮助来设计和构建大数据数据管道。以下是场景：-

我在 S3 中有大型 .gz 扩展文件，范围从 MB 到 GB。这些是 w3c 格式的日志文件压缩格式。现在，我希望将这些文件提取到 BigData 管道中，从文件中解压缩数据，然后将数据转换为所需的数据列。

各位AWS专家能否为我提供一些使用现成工具或开源工具或任何自定义工具的设计解决方案来实现上述数据管道。

【问题讨论】：

【解决方案1】：

根据火花文档

Spark 的所有基于文件的输入法，包括 textFile，都支持在目录、压缩文件和通配符上运行。例如，您可以使用 textFile("/my/directory")、textFile("/my/directory/.txt") 和 textFile("/my/directory/.gz")。

您所要做的就是将这些读取到 RDD（无需单独解压缩），您可以进行任何您想要的转换。

logsRDD = sc.textFile("s3a://<directory>/*gz")

【讨论】：