TFileStream 逐个读取大文件

Question

今天早些时候，我在这里提出了一个问题，询问我在计算机中扫描文件的方法是否正确。作为解决方案，我收到了一些提示，我认为的解决方案之一是：“这需要紧急解决！”，是说内存溢出，一旦我完全读取内存中的文件。所以我开始尝试找到一种方法来逐个读取文件，但我得到了一些东西（错误/虚假），我需要一些帮助来弄清楚如何正确地做到这一点。 这个方法现在很简单：

procedure ScanFile(FileName: string);
const
  MAX_SIZE = 100*1024*1024;
var
  i, aux, ReadLimit: integer;
  MyFile: TFileStream;
  Target: AnsiString;
  PlainText: String;
  Buff: array of byte;
  TotalSize: Int64;
begin
  if (POS('.exe', FileName) = 0) and (POS('.dll', FileName) = 0) and
      (POS('.sys', FileName) = 0) then //yeah I know it's not the best way...
    begin
      try
        MyFile:= TFileStream.Create(FileName, fmOpenRead);
      except on E: EFOpenError do
        MyFile:= NIL;
      end;
      if MyFile <> NIL then
      try
        TotalSize:= MyFile.Size;
        while TotalSize > 0 do begin
          ReadLimit:= Min(TotalSize, MAX_SIZE);
          SetLength(Buff, ReadLimit);
          MyFile.ReadBuffer(Buff[0], ReadLimit);
          PlainText:= RemoveNulls(Buff); //this is to transform the array of bytes in string, I posted the code below too...
          for i:= 1 to Length(PlainText) do
            begin //Begin the search..
            end;
          dec(TotalSize, ReadLimit);
         end;
  finally
    MyFile.Free;
  end;
end;

RemoveNulls 的代码是：

function RemoveNulls(const Buff: array of byte): String;
var
  i: integer;
begin
  for i:= 0 to Length(Buff) do
    begin
      if Buff[i] <> 0 then
        Result:= Result + Chr(Ord(Buff[i]));
    end;
end;

好的，到目前为止我遇到的问题是：

1- 每次重复 while 时，我都会消耗更多的内存，而我原本期望只有 MAX_SIZE 变量中描述的 MAX 100MB，对吧？

2- 我创建了一个文件，其中出现了 2 次应过滤的内容，但由于某种未知原因，我得到了大约 10 次重复出现，看起来我正在重复扫描文件。

感谢您的帮助，如果有人已经完成了此类代码，请在此处发布，我不假装重新创建轮子...

Answer 1

我会说 RemoveNulls 是您的问题。假设您刚刚将 100MB 读取到传递给 RemoveNulls 的字符串中。然后，您将分配长度为 1 的字符串。重新分配到长度 2。然后到长度 3。然后到长度 4。依此类推，一直到长度 100*1024*1024。

这个过程会使你的记忆碎片化，而且速度慢得惊人。当性能很重要时，应避免堆分配。你根本不需要它。读取文件的一部分，并直接在您读取的缓冲区中搜索。

我可以看到您的代码存在各种问题：

1. 您的文件扩展名检查已损坏，正如我在您之前的问题中所述。
2. 正如我在上一个问题中所述，您没有正确处理异常。
3. RemoveNulls 中的 for 循环缓冲区溢出。从 low() 循环到 high()。

无法对搜索代码发表评论，因为问题中不存在该代码。