GoAccess 自定义转发日志解析答案

【问题标题】：GoAccess custom forwarded log parsingGoAccess 自定义转发日志解析
【发布时间】：2016-07-27 00:20:26
【问题描述】：

我目前正在使用goaccess-1.0.2。我已将它安装在 Amazon Linux 机器上。它所在的盒子有从Apache WebApp Server 转发的自定义日志。我试图完成但似乎无法弄清楚的是如何让GoAccess 解析我们的自定义日志。

以下是自定义转发 WebApp 日志条目的示例：

Jun 24 00:00:41 directory1 httpd-access: 55.117.170.95 www.URLaddress.com - [24/Jun/2016:00:00:41 -0700] "GET /sites/all/themes/somthing_on_demand/js/fancybox/jquery.fancybox-1.3.4.css HTTP/1.1" 304 - "ht
tps://www.IPaddress.com/my_account/yum" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36" "SESSb9948a0b21e4d377a7d82f6adbf86c91=l
on7pgjlikml7q4tq954ejiao1; cookie_js=1; __utma=23285183.1119616966.1452095139.1468883973.1468963151.39; __utmb=23285183.500.10.1468963151; __utmc=23285183; __utmz=23285183.1468963151.39.39.utmcsr=fyi.URLaddress.com|utm
ccn=(r/INFOSEC-MAXLEN-256" "-" 57630

以下是我尝试过的一些日志格式：

log-format %^ %^ %^ "%h %^ %u %t \"%r\" %>s %b \"%R\" \"%u\" \"%^\" \"%^\" %D"

log-format "%h %{Host}i %{SSL_CLIENT_S_DN_CN}x %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{SHORT_COOKIE}e\" \"%{X-Forwarded-For}i\" %D"

log-format "%h %{Host}i %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{SHORT_COOKIE}e\" \"%{X-Forwarded-For}i\" %D"

我想我会使用 %^ 忽略日期和时间格式，然后使用日期格式 %m %d 和时间格式 %T 。

我对此很陌生，真的可以使用帮助。提前感谢您的反馈。

【问题讨论】：

标签： goaccess

【解决方案1】：

请试试这个，它对我有用：

goaccess -f access.log --log-format='%^:%^:%^: %h %v %^[%d:%t %^] "%r" %s %b "%R" "%u" "%^" "%^" %D' --date-format='%d/%b/%Y' --time-format='%T'

【讨论】：

非常感谢！我已经使用了上面的格式，它实际上开始解析了。我现在正在排除以下故障。 GoAccess - 版本 1.0.2 - 2016 年 7 月 25 日 15:16:33 配置文件：/usr/local/etc/goaccess.conf 发生致命错误错误发生在：src/goaccess.c - main - 1230 没有有效的处理。验证您的日期/时间/日志格式。当我找到解决方案时，我会为其他人发布。
再次感谢您。有效。我必须删除单个撇号。
再次感谢您。它可以工作，但不能直接在终端中使用。我必须去 sudo nano /usr/local/etc/goacess.conf 并取消 Apache 时间格式和日期格式以匹配上述内容。然后在日志格式配置中，我将 NCSA 组合日志格式与虚拟主机默认配置更改为匹配您提供的配置。刚刚去掉了单引号。然后我运行 goaccess -f -a 并且它运行良好。我真的很感激！