合并带有时间戳块的日志文件答案

【问题标题】：Merge log files with timestamped chunks合并带有时间戳块的日志文件
【发布时间】：2019-02-01 00:44:00
【问题描述】：

如果每一行都以时间开头，那么合并这些行然后排序是很简单的。我正在尝试将数十年的聊天日志合并在一起，这些日志原本是在开始和结束时由时间戳分隔的纯文本。每个文件都有几个这样的部分。

Session Start (Bob): Sun Nov 30 19:33:38 2003
Bob: hey what's up?
Michael: oh nothing
Session Close (Bob): Mon Dec 1 02:22:18 2003

Session Start (Bob): Thu Dec 4 09:33:38 2003
Michael: long time no hear
Session Close (Bob): Thu Dec 4 13:22:18 2003

每个人都有多个文件代表重叠的时间块。如果一个文件在 11 月和 1 月有会议，另一个文件可能在 12 月和 2 月有会议。我想将它们全部合并到一个按时间顺序排列的文件中。

更复杂的是，有时由于崩溃而没有会话关闭，而只是另一个会话开始。会话关闭应该暗示在此之前发生。如果有任何歧义或重叠，脚本不应合并块。

对任何语言或命令行环境中的解决方案开放。

【问题讨论】：

标签： logging text-processing text-parsing

【解决方案1】：

awk（GNU impl.为gawk）适合该任务。主要思想是找到一个好的记录分隔符和字段分隔符。
在这种情况下，RS="Session Start "（包括尾随空格）和FS="\n"。对于输出字段分隔符 OFS，可以使用管道或其他符号。最后，输出按第一个日期字段排序。此解决方案可能会导致排长队，但可以帮助您开始使用更好的解决方案。

#!/bin/bash

gawk 'BEGIN{ RS="Session Start " ; FS="\n"; OFS="|"} {
split($1,a,": ")
# put date first on first field
$1=a[2] " " a[1]
print $0
}' file1.txt file2.txt | sort --field-separator="|" -k 2,2 -k 3,3 -k 5,5

文件1：

Session Start (Bob): Sun Nov 30 19:33:38 2003
Bob: hey what's up?
Michael: oh nothing
Session Close (Bob): Mon Dec 1 02:22:18 2003

Session Start (Bob): Thu Dec 4 09:33:38 2003
Michael: long time no hear
Session Close (Bob): Thu Dec 4 13:22:18 2003

文件2：

Session Start (Bob): Tue Dic 2 19:33:38 2003
Bob: hey what's up?
Michael: oh nothing
Session Close (Bob): Tue Dic 2 20:22:18 2003

Session Start (Bob): Wed Jan 15 09:33:38 2003
Michael: long time no hear
Session Close (Bob): Wed Jan 15 13:22:18 2003

输出：

Sun Nov 30 19:33:38 2003 (Bob)|Bob: hey what's up?|Michael: oh nothing|Session Close (Bob): Mon Dec 1 02:22:18 2003||
Tue Dec 2 19:33:38 2003 (Bob)|Bob: hey what's up?|Michael: oh nothing|Session Close (Bob): Tue Dec 2 20:22:18 2003||
Thu Dec 4 09:33:38 2003 (Bob)|Michael: long time no hear|Session Close (Bob): Thu Dec 4 13:22:18 2003|
Wed Jan 15 09:33:38 2003 (Bob)|Michael: long time no hear|Session Close (Bob): Wed Jan 15 13:22:18 2003|

【讨论】：