如何按文件夹记录和汇总 S3 带宽？答案

【问题标题】：How to log and summarize S3 bandwidth by folder?如何按文件夹记录和汇总 S3 带宽？
【发布时间】：2017-08-18 06:11:55
【问题描述】：

我有一个包含多个文件夹的 S3 存储桶，每个文件夹代表一个用户。在每个用户的文件夹中都有几个通过 HTTP 流式传输给人们的音频文件。

我需要一种按文件夹跟踪带宽的方法。我尝试启用 S3 日志记录，但它使用的格式不是很有用。它会吐出大量包含一行的小文本文件，例如：

61f106674fb0e4a39d49057d70272b980edd365ea3a95e2ae81a2ae83193aea5 xxx [17/Aug/2017:17:39:00 +0000] xxx - xxx REST.GET.OBJECT 轨道/user1/xxx.m4a “GET /tracks/user1/2xxx.ma” - 4911363 4911363 165 143 "https://xxx" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36" -

我希望有一个列出文件大小和文件路径的 CSV。有没有其他方法可以做到这一点？

【问题讨论】：

标签： amazon-s3

【解决方案1】：

是的，Amazon S3 存储桶日志文件是您寻找的信息的最佳来源。它们是小文件，因为它们是定期生成的。每个时间段都会创建新文件，而不是附加到现有文件。

查询其内容的一种简单方法是使用Amazon Athena，它允许您跨存储在 Amazon S3 中的数据编写类似 SQL 的查询。

见：Using AWS Athena to query S3 Server Access Logs

【讨论】：