按日期合并多个日志文件，包括多行

Question

我有几条日志，其中包含所有以时间戳开头的行，因此以下内容可以按预期合并它们：

cat myLog1.txt myLog2.txt | sort -n > combined.txt

问题是，myLog2.txt 也可以包含没有时间戳的行（例如 java 堆栈跟踪）。是否有一种无需任何自定义脚本的简单方法仍然可以合并它们并保留多行内容？

示例 myLog1.txt

11:48:18.825 [main] INFO  org.hibernate.cfg.Environment - HHH000206: hibernate.properties not found
11:48:55.784 [main] INFO  o.h.tool.hbm2ddl.SchemaUpdate - HHH000396: Updating schema

示例 myLog2.txt

11:48:35.377 [qtp1484319352-19] ERROR c.w.b.c.ControllerErrorHandler -
org.springframework.beans.TypeMismatchException: Failed to convert value of type   'java.lang.String' to required type 'org.joda.time.LocalDate'; nested exception is    org.springframework.core.convert.ConversionFailedException: Failed to convert from type     java.lang.String to type @org.springframework.web.bind.annotation.RequestParam   @org.springframework.format.annotation.DateTimeFormat org.joda.time.LocalDate for value    '[2013-03-26]'; nested exception is java.lang.IllegalArgumentException: Invalid format: "    [2013-03-26]"
    at org.springframework.beans.TypeConverterSupport.doConvert(TypeConverterSupport.java:68) ~[spring-beans-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.beans.TypeConverterSupport.convertIfNecessary(TypeConverterSupport.java:45) ~[spring-beans-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.validation.DataBinder.convertIfNecessary(DataBinder.java:595) ~[spring-context-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.web.method.annotation.AbstractNamedValueMethodArgumentResolver.resolveArgument(AbstractNamedValueMethodArgumentResolver.java:98) ~[spring-web-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java:77) ~[spring-web-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:162) ~[spring-web-3.2.1.RELEAS

预期输出

11:48:18.825 [main] INFO  org.hibernate.cfg.Environment - HHH000206: hibernate.properties not found
11:48:35.377 [qtp1484319352-19] ERROR c.w.b.c.ControllerErrorHandler -
org.springframework.beans.TypeMismatchException: Failed to convert value of type   'java.lang.String' to required type 'org.joda.time.LocalDate'; nested exception is    org.springframework.core.convert.ConversionFailedException: Failed to convert from type     java.lang.String to type @org.springframework.web.bind.annotation.RequestParam   @org.springframework.format.annotation.DateTimeFormat org.joda.time.LocalDate for value    '[2013-03-26]'; nested exception is java.lang.IllegalArgumentException: Invalid format: "    [2013-03-26]"
    at org.springframework.beans.TypeConverterSupport.doConvert(TypeConverterSupport.java:68) ~[spring-beans-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.beans.TypeConverterSupport.convertIfNecessary(TypeConverterSupport.java:45) ~[spring-beans-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.validation.DataBinder.convertIfNecessary(DataBinder.java:595) ~[spring-context-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.web.method.annotation.AbstractNamedValueMethodArgumentResolver.resolveArgument(AbstractNamedValueMethodArgumentResolver.java:98) ~[spring-web-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java:77) ~[spring-web-3.2.1.RELEASE.jar:3.2.1.RELEASE]
at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:162) ~[spring-web-3.2.1.RELEAS
11:48:55.784 [main] INFO  o.h.tool.hbm2ddl.SchemaUpdate - HHH000396: Updating schema

谢谢 马可

Answer 1

不——不能用简单的命令 IMMHO 来完成。

但是 - 这是一个脚本来做这件事（这是一个挑战......）

@ECHO OFF
SETLOCAL
:: First log to tempfile
COPY /y mylog.txt "%temp%\combinedlogs.tmp" >NUL
(
FOR /f "delims=" %%i IN (mylog2.txt) DO (
 SET line=%%i
 ECHO %%i|FINDSTR /b /r "[012][0-9]:[0-5][0-9]:[0-5][0-9]\.[0-9][0-9][0-9]" >NUL
 IF ERRORLEVEL 1 (
  SETLOCAL ENABLEDELAYEDEXPANSION
 ECHO(!stamp:~0,12!!count!!line!
  ENDLOCAL
  SET /a count+=1
 ) ELSE (
 SET /a count=100
 ECHO %%i
 SET stamp=%%i
 )
)
)>>"%temp%\combinedlogs.tmp"
(
FOR /f "delims=" %%i IN ('SORT "%temp%\combinedlogs.tmp"') DO (
 SET line=%%i
 SETLOCAL enabledelayedexpansion
 IF "!line:~12,1!"==" " (ECHO(%%i) ELSE (ECHO(!line:~15!)
 ENDLOCAL
)
)>combinedlogs.txt
DEL "%temp%\combinedlogs.tmp" /F /Q

将带有所有时间戳条目的第一个日志复制到临时文件
通过

处理第二个文件

• 直接输出任何带时间戳的行，保存时间戳行并设置3位计数器
• 为其他行输出印章部分+计数器+原始文本和 撞柜台

因此是临时文件

Timestamp1 line1 from file1
..
Timestampn linen from file1
timestampA line1 from file2 with timestamp
timestampA100 UNtimestamped line2from file2
timestampA101 UNtimestamped line3from file2
timestampB line4 from file2 with timestamp
timestampB100 UNtimestamped line5from file2
timestampB101 UNtimestamped line6from file2
...

对结果进行排序并重新处理
第 13 个字符中没有空格的行是第二个文件中没有时间戳的行，所以

• 输出除前 15 个字符（时间戳 12 个字符 + 3 个 计数器）
• 否则，时间戳行，所以全部输出。

完成！

Answer 2

您应该在日志文件中使用merge、stable、ignore-leading-blanks、numeric-sort 和易于排序的日期时间格式（例如yyyyMMddHHmmssSSS）。

所以，我将您的日志格式更改为更易于排序，从而得到sort -bsnm log1 log2：

 $ cat -n log1 log2 && sort -m -b -n -s log1 log2
      1 114818825 [main] INFO  org.hibernate.cfg.Environment - HHH000206 hibernate.properties not found
      2 114855784 [main] INFO  o.h.tool.hbm2ddl.SchemaUpdate - HHH000396 Updating schema
      1 114835377 [qtp1484319352-19] ERROR c.w.b.c.ControllerErrorHandler -
      2 org.springframework.beans.TypeMismatchException Failed to convert value of type   'java.lang.String' to required type 'org.joda.time.LocalDate'; nested exception is    org.springframework.core.convert.ConversionFailedException Failed to convert from type     java.lang.String to type @org.springframework.web.bind.annotation.RequestParam   @org.springframework.format.annotation.DateTimeFormat org.joda.time.LocalDate for value    '[2013-03-26]'; nested exception is java.lang.IllegalArgumentException Invalid format "    [2013-03-26]"
      3     at org.springframework.beans.TypeConverterSupport.doConvert(TypeConverterSupport.java68) ~[spring-beans-3.2.1.RELEASE.jar3.2.1.RELEASE]
      4 at org.springframework.beans.TypeConverterSupport.convertIfNecessary(TypeConverterSupport.java45) ~[spring-beans-3.2.1.RELEASE.jar3.2.1.RELEASE]
      5 at org.springframework.validation.DataBinder.convertIfNecessary(DataBinder.java595) ~[spring-context-3.2.1.RELEASE.jar3.2.1.RELEASE]
      6 at org.springframework.web.method.annotation.AbstractNamedValueMethodArgumentResolver.resolveArgument(AbstractNamedValueMethodArgumentResolver.java98) ~[spring-web-3.2.1.RELEASE.jar3.2.1.RELEASE]
      7 at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java77) ~[spring-web-3.2.1.RELEASE.jar3.2.1.RELEASE]
      8 at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java162) ~[spring-web-3.2.1.RELEAS
      9 
 114818825 [main] INFO  org.hibernate.cfg.Environment - HHH000206 hibernate.properties not found
 114835377 [qtp1484319352-19] ERROR c.w.b.c.ControllerErrorHandler -
 org.springframework.beans.TypeMismatchException Failed to convert value of type   'java.lang.String' to required type 'org.joda.time.LocalDate'; nested exception is    org.springframework.core.convert.ConversionFailedException Failed to convert from type     java.lang.String to type @org.springframework.web.bind.annotation.RequestParam   @org.springframework.format.annotation.DateTimeFormat org.joda.time.LocalDate for value    '[2013-03-26]'; nested exception is java.lang.IllegalArgumentException Invalid format "    [2013-03-26]"
     at org.springframework.beans.TypeConverterSupport.doConvert(TypeConverterSupport.java68) ~[spring-beans-3.2.1.RELEASE.jar3.2.1.RELEASE]
 at org.springframework.beans.TypeConverterSupport.convertIfNecessary(TypeConverterSupport.java45) ~[spring-beans-3.2.1.RELEASE.jar3.2.1.RELEASE]
 at org.springframework.validation.DataBinder.convertIfNecessary(DataBinder.java595) ~[spring-context-3.2.1.RELEASE.jar3.2.1.RELEASE]
 at org.springframework.web.method.annotation.AbstractNamedValueMethodArgumentResolver.resolveArgument(AbstractNamedValueMethodArgumentResolver.java98) ~[spring-web-3.2.1.RELEASE.jar3.2.1.RELEASE]
 at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java77) ~[spring-web-3.2.1.RELEASE.jar3.2.1.RELEASE]
 at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java162) ~[spring-web-3.2.1.RELEAS

 114855784 [main] INFO  o.h.tool.hbm2ddl.SchemaUpdate - HHH000396 Updating schema

正如@Magoo's answer 中所说，您的日志日期时间当前的格式很难排序。

Answer 3

这是在 bash shell 中执行此操作的一种方法，文件的简单合并（而不是昂贵的手段 - 因为日志文件已经排序）。这对于数百兆字节或更大的大文件很重要，现实世界的日志文件也是如此。

此解决方案假定您的日志中没有 NUL 字节，这对于我遇到的每个日志文件都是如此，具有各种字符集。

基本思路：

1. 通过将每个输入文件中的换行符替换为 NUL 将所有多行连接到单行
2. 对替换的文件执行sort -m 以合并它们
3. 将 NUL 替换回合并结果上的换行符

由于第一步多次完成，我给它起了一个别名：

alias a="awk '{ if (match(\$0, /^[0-9]{2}:[0-9]{2}:[0-9]{2}\\./, _))\
{ if (NR == 1) printf \"%s\", \$0; else printf \"\\n%s\", \$0 }\
else printf \"\\0%s\", \$0 } END { print \"\" }'"

这是执行所有 3 个步骤的命令：

sort -m <(a myLog1.txt) <(a myLog2.txt) | tr '\0' '\n'

欲了解更多信息，请参阅https://superuser.com/a/838446/125379

Answer 4

我在同样的问题上苦苦挣扎，最后我想我明白了。尝试这样做：

sort -nbms -k1.1,1.2 -k1.4,1.5 -k1.7,1.8 -k1.10,1.12 myLog1.txt myLog2.txt > combined.txt

我自己还不是很清楚，不过我会尝试给出一些解释。根据手册页使用的开关意味着：

-n, --numeric-sort - 根据字符串数值比较。

-b, --ignore-leading-blanks - 忽略前导空格。

-s, --stable - 通过禁用最后的比较来稳定排序

-m, --merge - 合并已排序的文件；不排序

-k, --key=POS1[,POS2] - 在 POS1（原点 1）开始一个键，在 POS2 结束它（默认行尾）

• 日志文件已经排序，所以我们不需要再次排序，只需要确定合并时哪一行去哪里。这就是-m 的原因。防止堆栈跟踪被打乱至关重要。
• 在这种情况下，-b 不是必需的，因为 -n 和 -m 组合在一起可以防止堆栈跟踪行聚集。我留下了它以防万一大多数堆栈跟踪行都以空格开头。
• -n 显然会在密钥中有非数字字符时停止比较密钥。这是保持堆栈跟踪到位的第二个关键位。重要的是，如果它是-n -k1,1，它只会按小时对日志文件进行排序，因为冒号是非数字的。除此之外，-n 加快了数字比较，所以无论如何我们都希望拥有它。
• 上一点提到的问题是通过指向每个键中的特定字符位置来解决的，这就是为什么-k1.1,1.2（小时的第一位和第二位）-k1.4,1.5（分钟的第一位和第二位）等等。点之前的第一个数字始终是“1”，因为它指向文件行的第一列（在我们的例子中是时间）。很快它就是-kA,B，其中A 和B 是给定行中的列位置（默认情况下，行由空格分隔）。使用的 A 和 B 的格式是 .. 请记住，只要在 A 和 B 之间有一个非数字字符，则与使用 -n 相比，它后面的所有内容都将被忽略。
• -s 禁用默认行为，即：每当进行比较的键是相同的行的完整字符串比较时。我们不希望这样保留原始日志条目的顺序。不确定是否有必要使用-m。

Answer 5

开源工具 (Java GitHub) 允许您将不同格式的日志文件（包括多行）合并到一个合并文件中。

该工具允许更改日志文件中记录的时间。当文件来自不同时区时，它会很有用。

它还允许为合并文件生成附加信息，例如统一格式的应用程序名称或时间戳，请参阅the example。

该工具可用作command line tool 或Java library。 注意：我是作者。