使用 bash 和 awk 将日志文件分组

Question

我正在尝试以特定方式对日志文件进行排序，但我不确定如何执行最后一步。

我的日志文件有这样的条目：

Feb 15 17:00:34 server sshd[13879]: Invalid user test from 200.242.94.133
Feb 15 17:00:35 server sshd[13780]: Invalid user ftpuser from 200.242.94.133
Feb 15 17:01:34 server sshd[13890]: Invalid user test from 200.242.94.133
Feb 15 17:01:35 server sshd[13791]: Invalid user vnc from 200.242.94.133
Feb 15 17:01:35 server sshd[13794]: Invalid user test from 50.63.172.108
Feb 15 17:01:36 server sshd[13798]: Invalid user vnc from 50.63.172.108

我使用命令：

cat logfile | grep "Invalid user" | awk '{print $8 ", " $10 }' | sort -t":" -k2,2 | uniq -c

哪些输出：

 1 ftpuser, 200.242.94.133
 2 test, 200.242.94.133
 1 test, 50.63.172.108 
 1 vnc, 200.242.94.133
 1 vnc, 50.63.172.108

我想得到：

1 ftpuser, (1) 200.242.94.133
3 test, (2) 200.242.94.133, (1) 50.63.172.108
2 vnc, (1) 200.242.94.133, (1) 50.63.172.108

我不确定如何对 words 列求和，同时保持 ip 地址单独计数，然后将其与其他结果一起包含。

尝试回答：

# awk '/Invalid user/{user[$8]++;ip[$8][$10]++} END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}' logfile | sort -k2
awk: /Invalid user/{user[$8]++;ip[$8][$10]++} END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}
awk:                                 ^ syntax error
awk: /Invalid user/{user[$8]++;ip[$8][$10]++} END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}
awk:                                                                                                   ^ syntax error
awk: /Invalid user/{user[$8]++;ip[$8][$10]++} END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}
awk:                                                                                                                               ^ syntax error

Answer 1

$ awk '/Invalid user/{user[$8]++;ip[$8][$10]++} END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}' logfile
2 vnc, (1) 50.63.172.108, (1) 200.242.94.133
1 ftpuser, (1) 200.242.94.133
3 test, (1) 50.63.172.108, (2) 200.242.94.133

如果您希望它按用户字母顺序排序：

$ awk '/Invalid user/{user[$8]++;ip[$8][$10]++} END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}' logfile | sort -k2
1 ftpuser, (1) 200.242.94.133
3 test, (1) 50.63.172.108, (2) 200.242.94.133
2 vnc, (1) 50.63.172.108, (1) 200.242.94.133

以上内容适用于 GNU awk。我没有用 BSD 测试过。

工作原理

• /Invalid user/{user[$8]++;ip[$8][$10]++}

  对于logfile 中包含无效用户的任何行，这会计算用户名，字段 8 和 IP 地址，字段 10。

• END{for (u in user){printf "%s %s",user[u],u;for (i in ip[u])printf ", (%s) %s",ip[u][i],i;print""}}

  当我们读完logfile 后，它会遍历我们见过的每个用户，并打印我们见过该用户的次数，然后是该用户的姓名，然后是每个 IP 地址的计数对于那个 ip，然后是那个 ip。

Answer 2

John1024's answer 是一个非常简洁且可能快速的解决方案，如果：

• 您正在使用 GNU awk（该解决方案使用非 POSIX 功能，这些功能不适用于 BSD awk（也用于 OS X）或 mawk，例如）。
• 您不介意看似随机的 IP 地址顺序（由于关联数组的未排序键枚举；但是，在 GNU awk 4.0+ 中，您可以使用 PROCINFO["sorted_in"] to control the enumeration order）。

这里有一个更简单的解决方案，但是：

• 仅使用 POSIX awk 功能。
• 按输入中遇到的顺序列出 IP 地址。

它建立在 OP 命令的略微简化版本之上。

awk '/Invalid user/ { print $8 ", " $10 }' logfile | sort -t":" -k2,2 | uniq -c |
awk '
    # Helper output function for printing an output line.
  function printLine(c, n, l) { 
    sub(/,$/, "", n); print c, n l
  }
    # End of previous block found (new username)?
  prevName != $2 {
      # Print summary line for previous block.
    if (NR>1) printLine(count, prevName, ipList)
      # Start new block.
    prevName=$2; count=0; ipList=""
  }
    # Build block summary values.
  { 
    count+=$1
    ipList=ipList ", (" $1 ") " $3
  }
    # Print summary line for last block.
  END { 
    printLine(count, prevName, ipList)
  }
  '