让日志阅读更高效

Question

我有一个用于监视数据库的 perl 脚本，我正在尝试将其编写为 powershell 脚本。

在 perl 脚本中有一个函数可以读取错误日志并过滤掉重要的内容并将其返回。它还保存日志文件的当前位置，以便下次它必须读取日志时，它可以从它离开的地方开始，而不是再次读取整个日志。这是通过使用 tell 函数完成的。

我有一个使用 Get-Content cmdlet 的想法，从最后一个位置开始读取，处理每一行直到文件末尾，然后保存该位置。

您是否知道任何技巧，以便我可以在读取后获取日志文件中的位置并使读取从特定位置开始。

或者有没有更好和/或更简单的方法来实现这一点？

吉斯利

编辑：这必须通过脚本完成，而不是使用其他工具。

编辑：所以我正在使用 .NET API，但它并不适合我。 我找到了有用的链接 here 和 here

这是我目前所拥有的：

function check_logs{
param($logs, $logpos)
$count = 1
$path = $logs.file
$br = 0
$reader = New-Object System.IO.StreamReader("$path")
$reader.DiscardBufferedData()
$reader.BaseStream.Seek(5270, [System.IO.SeekOrigin]::Begin)
for(;;){
    $line = $reader.ReadLine()
    if($line -ne $null){$br = $br + [System.Text.Encoding]::UTF8.GetByteCount($line)}
    if($line -eq $null -and $count -eq 0){break}
    if($line -eq $null){$count = 0}
    elseif($line.Contains('Error:')){
        $l = $line.split(',')
        Write-Host "$line  $br"
    }
}

}

我还没有找到正确使用 seek 功能的方法。有人能指出我正确的方向吗？

如果我运行它，它会输出 5270，但如果我在没有尝试在基本流中寻找的行的情况下运行它，我会得到：

2011-08-12 08:49:36.51 Logon       Error: 18456, Severity: 14, State: 38.  5029
2011-08-12 08:49:37.30 Logon       Error: 18456, Severity: 14, State: 38.  5270
2011-08-12 16:11:46.58 spid18s     Error: 1474, Severity: 16, State: 1.  7342
2011-08-12 16:11:46.68 spid18s     Error: 17054, Severity: 16, State: 1.  7634
2011-08-12 16:11:46.69 spid29s     Error: 1474, Severity: 16, State: 1.  7894

其中第一部分是从日志中读取的行，末尾的数字表示在该点读取的字节数。如您所见，我现在正尝试使用 seek 函数跳过第一个错误行，但正如我之前所说，如果我使用 seek 函数，输出为 5270。

我错过了什么？？？？？？

吉斯利

Answer 1

你可能可以用一些 .net 对象等来做到这一点......

如果它是一个更标准格式的日志文件，我不会看太多过去的logparser。它在时间之前很棒，现在仍然很棒！

您可以通过命令行或带有 PowerShell 的 COM 使用它。它能够标记它在文件中的位置并从那里获取（将信息存储在 lpc 文件中）。

可能有人会想出一个很好的方法来做到这一点，但如果没有，您也可以考虑切换到将错误信息写入事件查看器。您可以存储最后一个 id 或上次搜索事件查看器的时间，并每次从那里检查。

希望有更好的...

编辑：

如果文件是制表符分隔的，您可以使用 import-csv 命令并存储最后一个数字（如果标题包含在 count 中，它会是 count 或 count-1）。使用最后一个数字可以跳转到文件中的最后一个点

# use Import-CliXML to get the $last_count
Import-CliXML $path_to_last_count_xml
$file = Import-Csv filename -delimiter "`t"
for ($i=$last_count; $i -gte $file.count; $i++) {
    $line = $file[$i]
    # do something with $line
    ...
}
$last_count = $file.count | Export-CliXML $path_to_last_count_xml

# use this to clear the memory
Remove-Variable $file
[GC]::collect

或者您可以使用 sp_readerrorlog 直接查询数据库；使用最后一次，如上面的最后一次计数。

Answer 2

如果您真的想使用 PowerShell，我建议您有两种选择。

1. 使用 .NET 文件 API。

2. 读取日志的全部内容，然后将其清除。将解析后的内容存储在数据库中。

Answer 3

如果您的目标是仅从上次运行中读取的最后一行读取文件，请随意忽略此答案。但是，如果您只是想在上次检查时间后发现任何错误，这可能会有所帮助。

[System.Reflection.Assembly]::LoadWithPartialName('Microsoft.SqlServer.SMO')  | Out-Null
$server = 'ServerName'
$chkDate = Get-Date -Date '8/16/2011 15:00'  # time of last check
$srvObj =  New-Object -TypeName Microsoft.SqlServer.Management.Smo.Server -argumentList $srv
$srvObj.ReadErrorLog(0) | foreach { if ($_.LogDate -notlike '' `
   -and $_.LogDate -ge $chkDate `
   -and $_.Text -like 'Error: *') {$_}} |ft -AutoSize

如果您从文件中获取上次运行时间，或者只知道您每隔一小时或其他时间运行一次，您可以调整 $chkDate 以仅显示从那时到文件末尾的错误。

（注意 $srvObj.ReadErrorLog(0) 行和下一行末尾的那些反引号 (`)。它们并不总是出现在我的HTML)