【发布时间】:2021-11-19 20:34:08
【问题描述】:
我有 20 GB 的(未压缩的)日志文件。它们最初被压缩(作为每个日志文件一个 70 KB 的 .gz 文件),总大小约为 700 MB。我需要浏览和搜索它们以诊断一些问题。我不确切知道我在搜索什么,我可能需要快速浏览几千次点击以进行任何我尝试的搜索。
我尝试通过解压缩所有文件然后使用 Notepad++ 或 Visual Studio 搜索它们来做到这一点。问题是搜索速度非常慢,并且给硬盘带来了很大的负担。我假设每次搜索都需要从磁盘读取全部 20 GB。
如果有一个文本编辑器(或 Notepad++ 插件?)可以在 .gz 文件中搜索而不将它们解压缩到磁盘,那么可能会更好。 700 MB 的 .gz 文件可以轻松放入系统缓存中,我认为解压缩内存中的每个文件会比从磁盘读取未压缩文件快得多。
我想我的替代方案是一次只处理几场演出,这样所有演出都有机会被缓存,但这很不方便。感谢您的建议。
【问题讨论】:
-
直接在压缩文件中搜索可能很难找到(尽管有可能),也许寻找一个不加载整个文件的编辑器。例如,总指挥官 (ghisler.com/download.htm) 有一个很好的内置十六进制查看器/编辑器 (F3),可以在几秒钟内加载大文件并具有搜索功能。
-
谢谢施奈德。但问题是编辑器必须从磁盘读取整个文件才能搜索整个文件。由于我正在搜索 20 GB 的文本,因此需要从磁盘读取 20 GB。
-
您需要文本编辑器还是文本查看器?
-
@liori - 查看器。我说编辑是因为观众往往也是编辑。
标签: text-editor