使用带有 Elastic Beanstalk 的 log4j 轮换 S3 日志记录答案

【问题标题】：Rotating S3 Logging using log4j with Elastic Beanstalk使用带有 Elastic Beanstalk 的 log4j 轮换 S3 日志记录
【发布时间】：2011-12-30 22:57:40
【问题描述】：

我正在尝试将每个日志文件传输到 s3。有一个自动脚本可以获取 tail_catina.log 并覆盖那里的任何内容。

我希望将每个日志文件：tail_catalina.log1、tail_catalina.log2、tail_catalina.log3 等保存到我的 s3。

我什么都想要！！

【问题讨论】：

标签： logging amazon-ec2 log4j amazon-elastic-beanstalk

【解决方案1】：

我使用 logrotate、s3cmd 和 cron 的基本组合来非常简单地实现这一目标。

我已经完成了detailed writeup and explanation on my blog。它应该适用于在 linux 环境中运行 Apache 服务器的任何人。我希望人们会觉得它有帮助，因为我花了几个小时才敲定细节。

基本脚本如下，逐行细分见博文：

# rotate the logs!
# common settings
compress
compresscmd /bin/gzip
compressoptions -9
compressext .gz

dateext
dateformat -%Y-%m-%d-%s

rotate 3
nomail
missingok
daily
size 5k
create 640 username username

/var/logs/www.runpartner.com/*.log {
sharedscripts
postrotate
sudo /usr/sbin/apache2ctl graceful

/usr/bin/s3cmd sync /var/logs/www.runpartner.com/*.gz s3://bucket-logs/www.runpartner.com/
endscript
}

【讨论】：

不确定是谁投了反对票。工作得很好，比上面的例子更干净。如果有问题，请大声疾呼。
问题是关于“我已经在我的博客中解释了这一切”，而没有在这里解释任何事情。现在好多了。

【解决方案2】：

早期的 Beanstalk AMI 未正确轮换日志。您可以在部署中使用最新的 AMI 来修复它。转到 EC2 控制台、AMI。通过选择 Amazon Images、“elasticbeanstalk”过滤列表，然后按“来源”排序以查看最新的 AMI。

或者，您可以编辑 Beanstalk 服务器上的文件 /etc/logrotate.conf.elasticbeanstalk 以修复日志轮换。以下配置在文件名后附加时间戳。它会生成tail_catalina.log-1322236861.gz、tail_catalina.log-1322240461.gz等日志。

/var/log/tomcat6/catalina.out /var/log/tomcat6/monitor_catalina.log /var/log/tomcat6/tail_catalina.log {
    size 1M
    missingok
    rotate 2
    compress
    notifempty
    copytruncate
    dateext
    dateformat -%s
    lastaction
        /bin/chown tomcat:elasticbeanstalk /var/log/tomcat6/*gz; /bin/chmod 664 /var/log/tomcat6/*gz
    endscript
}

【讨论】：