如何在线程中等待数据并将其写入文件的最佳实践？

Question

我正在编写多线程应用程序。我有两个线程。 On 用于将一些数据从设备传输到全局数据缓冲区，其次用于将这些数据写入文件。

从设备到缓冲区的数据正在异步传输。第二个线程的目的应该是等待指定数量的数据写入主数据缓冲区，最后写入文件。

第一个线程在 DLL 中，第二个在主应用程序中。我暂时用事件来解决这个问题。第一个线程将数据从设备传输到主数据缓冲区并计算数据，当传输指定数量的数据时，它会设置一个事件。第二个等待事件发出信号，然后运行一些数据存储代码。很简单，因为它正在工作。

  Thread1.Execute:

  var DataCount, TransferedData: Integer;

  DataCounter := 0;
  while not Terminted do
  begin
    TransferData(@pData, TransferedData);
    Inc(DataCounter, TransferedData)
    if DataCounter >= DataCountToNotify then SetEvent(hDataCount);
  end;



  Thread2.Execute:

  hndlArr[0] := hDataCount;
  hndlArr[1] := hTerminateEvent;

  while (not Terminated) do
  begin
    wRes := WaitForMultipleObjects(HandlesCount, Addr(hndlArr), false, 60000);
    case wRes of
      WAIT_OBJECT_0:
        begin
          Synchronize(WriteBuffer);                   // call it from main thread
          ResetEvent(hndlArr[0]);
        end;
      WAIT_OBJECT_0 + 1:
        begin
          ResetEvent(hTerminateEvent);
          break;
        end;
      WAIT_TIMEOUT:  Break;
    end;
  end;

现在我想让第二个线程更加独立......所以我可以创建第二个线程的多个实例，而我不需要等待第一个线程。我想将代码的数据计数部分从第一个线程移动到第二个线程，这样我就不再需要在第一个线程中进行数据计数了。第一个将仅用于数据传输目的。

我想使用第二个作为数据计数器并存储数据。但现在我将不得不循环并不断手动检查指定的数据量。如果我有while循环，我将不得不添加一些睡眠，所以第二个线程不会降低计算机性能，但我不知道睡眠应该多长时间，而第一个线程中的数据传输速度不是恒定的，因此第二个线程中的计数速度会有所不同。

我猜这个代码示例不好：

  Thread2.Execute:
  var DataCount: Integer;
  DataIdx1 := GetCurrentDataIdx; 
  while (not Terminated) do
  begin     
    if (GetCurrentDataIdx - DataIdx1) >= DataCountToNotify then 
    begin
      Synchronize(WriteBuffer);
      DataIdx1 := GetCurrentIdx;
    end;
    sleep(???);
  end;

所以我的问题是解决数据计数问题并将其存储在第二个线程中的最佳方法是什么？您有什么经验和建议？

Answer 1

你有一些问题。 @LU RD 已经指出了一个 - 不要同步不需要同步的东西。目前尚不清楚“WriteBuffer”的作用，但我使用的文件系统和所有数据库都可以让一个线程打开文件/表并写入它们。

您的缓冲系统可能需要一些注意。是否有一些“指定的数据量”或者这是一些允许懒惰写入的概念数字？

通常，生产者和消费者线程在队列上交换多个缓冲区指针，因此避免共享任何单个缓冲区。鉴于这是一个 DLL，因此内存管理调用可能会出现问题，我可能也会通过在启动时创建一个缓冲区池来在系统周围传输数据来避免它们。我会使用缓冲区类，而不仅仅是指向内存的指针，但这不是绝对必需的（只是更容易/灵活/安全）。

Sleep() 循环是一种非常糟糕的线程间通信方式。 Sleep() 确实有它的用途，但这不是其中之一。 Delphi/Windows 有大量的同步机制——事件、信号量、互斥体等——它们使得这种轮询变得不必要。

LU RD 还提到了必须保持顺序的数据的并行处理问题。这通常需要另一个线程，一个列表样式的集合和序列号。在线程间通信正常运行之前，我不会尝试这样做。

Answer 2

如果您想避免在第二个线程中调用 Sleep()，请使用像 TSimpleEvent 这样的可等待计时器。

设置睡眠时间以处理所有时间条件。 使用这种方案而不是普通的Sleep() 有一个优势，因为等待计时器不会使线程进入深度睡眠。

要释放线程，请参阅代码中的 cmets。

var
  FEvent: TSimpleEvent;
  FSleepTime: Integer = 100;  // Short enough to handle all cases

Constructor TThread2.Create;
begin
  Inherited Create( False);
  FEvent := TSimpleEvent.Create;
  Self.FreeOnTerminate := True;
end;

procedure TThread2.Execute;
var 
  DataCount: Integer;
begin
  DataIdx1 := GetCurrentDataIdx; 
  while (fEvent.WaitFor(FSleepTime) = wrTimeout) do
  begin
    if Terminated then
      break;
    // Do your work
    if (GetCurrentDataIdx - DataIdx1) >= DataCountToNotify then 
    begin
      // Write data to buffer
      DataIdx1 := GetCurrentIdx;
    end;
  end;
end;

// To stop the thread gracefully, call this instead of Terminate or override the DoTerminate
procedure TThread2.SetTerminateFlag;
begin
  FEvent.SetEvent;
end;