使用 java 将 Parquet 文件从 Lambda 保存到 S3答案

【问题标题】：Save Parquet file from Lambda to S3 with java使用 java 将 Parquet 文件从 Lambda 保存到 S3
【发布时间】：2017-09-27 18:31:56
【问题描述】：

我有一个用例，我需要将镶木地板文件从 Lambda 保存到 S3。我需要以追加模式存储在 Lambda 函数中触发的事件..

我尝试使用 Avro，但它不允许以附加模式将数据存储在同一个镶木地板文件中..

到目前为止，我发现只需 spark 允许以附加模式将数据存储在 parquet 文件中......然后，我可以使用 Lambda 提交存储数据的 spark 作业。您如何看待这种可能的解决方案？

但是，真的不存在不使用 spark 的解决方案吗？提前致谢

【问题讨论】：

【解决方案1】：

无论格式如何，您都不能将数据附加到存储在 S3 中的任何文件中。对不起。这只是 S3 和文件系统之间的差异之一。

【讨论】：