我为我的 AWS ALB 配置了访问日志记录。它会定期将这些日志转储到 S3 存储桶中。
要查看它们，您必须下载然后解压缩文件并查看文本。
我想在一个地方查看 ALB HTTP 请求的列表，而不必执行上述过程。
AWS 是否提供这样的服务？
【问题讨论】：
标签： amazon-web-services amazon-ec2 amazon-elb
AWS Application Load Balancer 将日志文件保存到 Amazon S3。
Amazon Athena 然后可用于查询保存在 S3 中的文件。重要的部分是了解文件格式。
查看这篇精彩的文章：Athena & ALB Log Analysis
他们使用这个查询来创建表：
CREATE EXTERNAL TABLE IF NOT EXISTS logs.web_alb (
type string,
time string,
elb string,
client_ip string,
client_port string,
target string,
request_processing_time int,
target_processing_time int,
response_processing_time int,
elb_status_code int,
target_status_code string,
received_bytes int,
sent_bytes int,
request_verb string,
request_url string,
request_proto string,
user_agent string,
ssl_cipher string,
ssl_protocol string,
target_group_arn string,
trace_id string
)
PARTITIONED BY(year string, month string, day string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1',
'input.regex' = '([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*) ([-0-9]*) ([-0-9]*) ([-0-9]*) ([-0-9]*) ([^ ]*) ([-0-9]*) ([-0-9]*) \"([^ ]*) ([^ ]*) ([^ ]*)\" \"([^\"]*)\" ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*)'
) LOCATION 's3://{{BUCKET}}/AWSLogs/{{ACCOUNT}}/elasticloadbalancing/us-east-1/';
【讨论】：
AWS 将这些日志文件放在 S3 中。这是无法更改的，而且我看不到任何其他更好的地方 AWS 也可以放置这些日志。现在，重要的是您希望如何处理来自 S3 的这些日志！你那里有什么要求！
几个选项：
正如约翰所说；您可以使用 Athena 直接查询此 S3 存储桶。就像您在本地文件系统上拥有这些日志并在其上运行 grep 一样。
如果您需要汇总这些数据；创建一些报告/仪表板 --> 在这些日志文件上使用 EMR。
如果你真的需要查看这些文件；您始终可以在其中一个每小时运行的服务器上设置一个 cronjob，这与您在上面手动执行的操作完全相同。这将确保您始终准备好使用日志文件。
我们甚至可以将这些日志文件放入 CloudWatch 日志、Kinesis 流中。
这一切都取决于你的要求..
【讨论】：