生产者消费者队列不释放

Question

我已经建立了一个生产者消费者队列，该队列包装了一个 .net 4.0 的 ConcurrentQueue，其中 SlimManualResetEvent 信号在生产（Enqueue）和消费（while（true）线程之间）。 队列看起来像：

public class ProducerConsumerQueue<T> : IDisposable, IProducerConsumerQueue<T>
{
    private bool _IsActive=true;

    public int Count
    {
        get
        {
            return this._workerQueue.Count;
        }
    }

    public bool IsActive
    {
        get { return _IsActive; }
        set { _IsActive = value; }
    }

    public event Dequeued<T> OnDequeued = delegate { };
    public event LoggedHandler OnLogged = delegate { };

    private ConcurrentQueue<T> _workerQueue = new ConcurrentQueue<T>();

    private object _locker = new object();

    Thread[] _workers;

    #region IDisposable Members

    int _workerCount=0;

    ManualResetEventSlim _mres = new ManualResetEventSlim();

    public void Dispose()
    {
        _IsActive = false;

        _mres.Set();

        LogWriter.Write("55555555555");

          for (int i = 0; i < _workerCount; i++)
          // Wait for the consumer's thread to finish.
          {
             _workers[i].Join();        
          }
           LogWriter.Write("6666666666");
     // Release any OS resources.
    }
    public ProducerConsumerQueue(int workerCount)
    {
        try
        {
            _workerCount = workerCount;
            _workers = new Thread[workerCount];
            // Create and start a separate thread for each worker
            for (int i = 0; i < workerCount; i++)
                (_workers[i] = new Thread(Work)).Start();
        }
        catch (Exception ex)
        {
            OnLogged(ex.Message + ex.StackTrace);
        }

    }
    #endregion

    #region IProducerConsumerQueue<T> Members

    public void EnqueueTask(T task)
    {
        if (_IsActive)
        {
            _workerQueue.Enqueue(task);
            //Monitor.Pulse(_locker);
            _mres.Set();
        }
    }

    public void Work()
    {
      while (_IsActive)
      {
          try
          {
              T item = Dequeue();
              if (item != null)
                  OnDequeued(item);
          }
          catch (Exception ex)
          {
              OnLogged(ex.Message + ex.StackTrace);
          }              
      }
    }

    #endregion
    private T Dequeue()
    {
        try
        {
            T dequeueItem;
            //if (_workerQueue.Count > 0)
            //{
            _workerQueue.TryDequeue(out dequeueItem);
            if (dequeueItem != null)
                return dequeueItem;
            //}
            if (_IsActive)
            {
                _mres.Wait();
                _mres.Reset();
            }
            //_workerQueue.TryDequeue(out dequeueItem);
            return dequeueItem;
        }
        catch (Exception ex)
        {
            OnLogged(ex.Message + ex.StackTrace);
            T dequeueItem;
            //if (_workerQueue.Count > 0)
            //{
            _workerQueue.TryDequeue(out dequeueItem);
            return dequeueItem;
        }

    }


    public void Clear()
    {
        _workerQueue = new ConcurrentQueue<T>();
    }
}

}

调用 Dispose 时，它​​有时会阻塞连接（一个线程消耗）并且 dispose 方法被卡住。我猜它卡在了 resetEvents 的等待上，但为此我调用了 dispose 的集合。 有什么建议吗？

Answer 1

更新：我理解您关于内部需要队列的观点。我使用BlockingCollection<T> 的建议是基于您的代码包含大量逻辑来提供阻塞行为的事实。自己编写这样的逻辑很容易出现错误（我从经验中知道这一点）；因此，当框架中有一个现有的类至少为您完成一些工作时，通常最好使用它。

如何使用BlockingCollection<T> 实现此类的完整示例有点太大，无法包含在此答案中，因此我发布了一个有效的example on pastebin.com；随意看看，看看你的想法。

我还写了一个示例程序来演示上面的例子here。

我的代码正确吗？我不会因为太太自信而答应；毕竟，我还没有编写单元测试，没有对其进行任何诊断等等。这只是一个基本的草稿，让您了解使用BlockingCollection<T>而不是ConcurrentQueue<T>如何清理您的很多逻辑（在我看来(内部队列的行为）。

---

评论中提出的问题：

您不使用BlockingCollection<T>的任何原因？

你的答案：

[...] 我需要一个队列。

来自MSDN documentation on the default constructor for the BlockingCollection<T> class：

默认的基础集合是ConcurrentQueue<T>。

如果您选择实现自己的类而不是使用BlockingCollection<T> 的唯一原因是您需要一个 FIFO 队列，那么……您可能需要重新考虑您的决定。使用默认无参数构造函数实例化的BlockingCollection<T>是一个 FIFO 队列。

也就是说，虽然我认为我无法对您发布的代码进行全面分析，但我至少可以提供几点建议：

1. 对于处理这种棘手的多线程行为的类，我会非常犹豫是否要以您在这里的方式使用事件。调用代码可以附加它想要的任何事件处理程序，而这些事件处理程序又会抛出异常（您没有捕获）、长时间阻塞，甚至可能由于完全超出您控制的原因而死锁——这在阻塞队列的情况。
2. Dequeue 和 Dispose 方法中存在竞争条件。

看看你的Dequeue方法的这些行：

if (_IsActive) // point A
{
    _mres.Wait(); // point C
    _mres.Reset(); // point D
}

现在看看Dispose的这两行代码：

_IsActive = false;

_mres.Set(); // point B

假设您有三个线程，T₁、T₂ 和 T₃。 T₁ 和 T₂ 都在 A 点，每个检查 _IsActive 并找到 true。然后Dispose被调用，T₃设置_IsActive为false（但是T₁和T₂已经过了点A)，然后到达点 B，它调用_mres.Set()。然后 T₁ 到达点 C，移动到点 D，并调用_mres.Reset()。现在 T₂ 到达点 C 并且将永远被卡住，因为_mres.Set 将不再被调用（任何执行Enqueue 的线程都会找到_IsActive == false 并立即返回，并且执行Dispose的线程已经通过点B）。

我很乐意尝试提供一些帮助来解决这个竞争条件，但我怀疑BlockingCollection<T> 实际上并不是你需要的类。如果你能提供更多信息让我相信情况并非如此，也许我会再看看。

Answer 2

由于_IsActive 未标记为volatile，并且所有访问都没有lock，因此每个内核都可以为此值设置单独的缓存，并且该缓存可能永远不会被刷新。因此在Dispose 中将_IsActive 标记为false 实际上不会影响所有正在运行的线程。

http://igoro.com/archive/volatile-keyword-in-c-memory-model-explained/

private volatile bool _IsActive=true;