信号量的多线程 |应用程序没有响应

Question

首先谈谈我的目标：

我正在将一个包含大约 1000-5000 行的表导入到 DataTable。这个绑定到DataGridView。现在对于每一行都必须运行一个大约需要 5-10 秒的过程。单个进程完成后，我想将结果写回DataTabel（结果列）。

因为这个过程是独立的，所以我想使用多线程来加速它。

这是我当前代码的示例结构：

// Will be created for each row
public class FooObject
{
    public int RowIndex;
    public string Name;
    //...
}

// Limiting running tasks to 50
private Semaphore semaphore = new Semaphore(50, 50);
// The DataTable is set up at start-up of the App (columns etc)
private DataTable DtData { get; set; } = new DataTable();

// The button that starts the process
private void btnStartLongRun(object sender, EventArgs e)
{
    // some init-stuff
    StartRun();
}

private async void StartRun()
{
    for (int rowIndex = 0; rowIndex < DtData.Rows.Count)
    {
        // Creating a task to not block the UI
        // Using semaphore here to not create objects
        // for all lines before they get in use.
        // Having this inside the real task it consumed
        // a lot of ram (> 1GB)
        await Task.Factory.StartNew(() => 
        {
            semaphore.WaitOne();
        });

        // The row to process
        var currentRow = DtData.Rows[rowIndex];

        // Creating an object from the row-data
        FooObject foo = new FooObject()
        {
            RowIndex = rowIndex;
            Name = currentRow["Name"].ToString();
        }

        // Not awaiting because I want multiple threads
        // to run at the same time. The semaphore is
        // handling this
        TaskScheduler scheduler = TaskScheduler.Current;
        Task.Factory.StartNew(() =>
        {
            // Per-row process
            return ProcessFoo(foo);
        }).ContinueWith((result) =>
        {
            FinishProcessFoo(result.Result);
        }, CancellationToken.None, TaskContinuationOptions.OnlyOnRanToCompletion, scheduler);
    }
}

private FooObject ProcessFoo(FooObject foo)
{
    // the actual big process per line
}

private void FinishProcessFoo(FooObject foo)
{
    // Locking here because I got broken index errors without
    lock(DtGrid.Rows.SyncRoot)
    {
        // Getting the row that got processed
        var procRow = DtData.Rows[foo.RowIndex];
        // Writing the result to that row
        procRow["Result"] = foo.Result;

        // Raising the progressbar
        pbData.Value++;
    }

    // Letting the next task start.
    semaphore.Release();
}

最大的问题：

一开始一切正常。所有线程都运行顺利并完成他们的工作。但是，随着应用程序运行的时间越长，它越会变得无响应。看起来该应用正在慢慢开始越来越多地被阻止。

我开始了 5000 行的测试运行。它卡在第 2000 行左右。有时甚至会引发the app isn't responding 的错误。

我在多线程方面没有太多经验。所以也许这段代码完全不好。我感谢这里的每一个帮助。我也很乐意为我指出另一个方向以使其运行得更好。

非常感谢。

编辑
如果有什么我可以调试的，请告诉我。

编辑 2
我已经启用了所有 Common Language Runtime Exceptions 以检查是否有任何未引发错误的内容。什么都没有。

Answer 1

如果您想并行处理多达 50 行，您可以考虑使用 Parallel.For 和 50 的 MaxDegreeOfParallelism：

Parallel.For(0, DtData.Rows.Count, new ParallelOptions() { MaxDegreeOfParallelism = 50 }, rowIndex => 
{
    //...
});

Answer 2

1. 开始一个新任务只是为了在信号量上调用 WaitOne 是浪费时间。

2. 您正在使用 UI 线程来协调数千个异步任务。这是不好的。将您对 StartRun 的调用包含在一个新任务中以避免这种情况。

3. 执行此操作的更好方法是将行数除以处理器数，然后每个处理器仅针对这些行启动一项任务。那么就不需要信号量了。