【问题标题】:Thread safe lockfree mutual ByteArray queue线程安全无锁互 ByteArray 队列
【发布时间】:2023-03-18 20:03:01
【问题描述】:

应该传输一个字节流,并且有一个生产者线程和一个消费者线程。 生产者的速度大多数时候都高于消费者,我需要足够的缓冲数据来满足我的应用程序的 QoS。 我读到了我的问题,并且有共享缓冲区、PipeStream .NET 类等解决方案...... 此类将在服务器上多次实例化,因此我需要优化解决方案。 使用 ByteArray 队列是个好主意吗?

如果是,我将使用优化算法来猜测队列大小和每个 ByteArray 容量,理论上它适合我的情况。

如果没有,我最好的方法是什么?

如果有 C# 或 VB 中 ByteArray Queue 的良好无锁线程安全实现,请告诉我。

提前致谢

【问题讨论】:

  • 您是否有特殊原因需要无锁解决方案?
  • 总是一个生产者和一个消费者吗?队列的大小是否有界且事先已知?
  • @AndrasVass:该项目已经完成,目前正在运行。我使用了足够快的并发类,但由于缓冲区的快速回收,我遇到了 GC 未处理的内存碎片,因此替换了循环缓冲区方法以防止碎片。 GC 没有我指望的那么聪明!

标签: .net multithreading thread-safety queue lock-free


【解决方案1】:

最重要的部分是共享对象的设计。在我的场景中,读取器和写入器可以独立使用单独的缓冲区(大数据块),然后,只有访问像队列这样的共享 FIFO 对象才应该同步。这样可以最大限度地减少锁定时间,并且线程可以并行完成工作。 .NET framewok 4.0 让这个概念的实现变得简单:

System.Collections.Concurrent 命名空间中有一个 ConcurrentQueue(Of T) 类,arrayByte 是一个很好的类型,可用作我的场景的队列类型。命名空间中还有其他线程安全的集合。

http://msdn.microsoft.com/en-us/library/system.collections.concurrent.aspx

【讨论】:

    【解决方案2】:

    如果不是逐字节生成和消耗,而是分块工作,您可能会获得更多的加速。在这种情况下,代码的“无锁”可能根本不重要——事实上,传统的锁定解决方案可能更可取。我会尝试证明。

    在 C# 中给出了一个无锁、single 生产者、single 消费者、有界 队列。 (清单 A)
    没有深奥的互锁操作,甚至没有显式的内存屏障。比方说,乍一看,它的速度和无锁一样快。不是吗?
    现在让我们将其与锁定解决方案that Marc Gravell has given, here进行比较。

    我们将使用在内核之间没有共享 L3 缓存的双 CPU 机器。 我们预计最多 2 倍的加速。 2 倍的加速确实意味着无锁解决方案在理论范围内表现理想。
    为了给无锁代码创造一个理想的环境,我们甚至会使用here中的实用程序类来设置生产者和消费者线程的CPU亲和性。
    测试的结果代码在(清单 B)中。

    它正在生产约。在一个线程上消耗 10MBytes,而在另一个线程上消耗它。
    队列大小固定为 32KBytes。如果已满,则生产者等待。
    在我的机器上运行的典型测试如下所示:

    LockFreeByteQueue:799 毫秒
    字节队列:1843ms

    无锁队列更快。哇,它的速度是原来的 2 倍以上!这是值得吹嘘的。 :)
    让我们看看发生了什么。 Marc 的锁定队列就是这样做的。它锁定。它对每个字节都这样做。

    我们真的需要锁定每个字节并逐字节推送数据吗?它肯定会以块的形式到达网络上(例如一些大约 1k 的数据包)。即使它真的是从内部源逐字节到达,生产者也可以轻松地将其打包成漂亮的块。
    让我们这样做 - 不是逐字节生成和消耗,而是分块工作并将其他两个测试添加到微基准测试(清单 C,只需将其插入基准测试主体)。
    现在典型的运行如下所示:

    LockFreePageQueue:33 毫秒
    页面队列:25 毫秒

    现在,它们实际上都比原始无锁代码快 20 倍 - Marc's solution 添加了分块实际上比带有分块的无锁代码
    我们没有采用会导致 2 倍加速的无锁结构,而是尝试了另一种解决方案,该解决方案可以很好地处理锁定并导致 20 倍(!)加速。
    许多问题的关键不是避免锁定,而是避免共享和最小化锁定。在上述情况下,我们可以避免在字节复制期间共享。
    我们可以在大部分时间处理私有结构,然后将单个指针排入队列,从而将共享空间和时间缩减为将单个指针插入队列中。

    清单 A,一个无锁、单一生产者、单一消费者队列:

    public class BoundedSingleProducerSingleConsumerQueue<T>
    {
        T[] queue;
        volatile int tail;
        volatile int head;
    
        public BoundedSingleProducerSingleConsumerQueue(int capacity)
        {
            queue = new T[capacity + 1];
            tail = head = 0;
        }
    
        public bool TryEnqueue(T item)
        {
            int newtail = (tail + 1) % queue.Length;
            if (newtail == head) return false;
            queue[tail] = item;
            tail = newtail;
            return true;
        }
    
        public bool TryDequeue(out T item)
        {
            item = default(T);
            if (head == tail) return false;
            item = queue[head];
            queue[head] = default(T);
            head = (head + 1) % queue.Length;
            return true;
        }
    }
    

    清单 B,微基准:

    class Program
    {
        static void Main(string[] args)
        {
            for (int numtrials = 3; numtrials > 0; --numtrials)
            {
                using (ProcessorAffinity.BeginAffinity(0))
                {
                    int pagesize = 1024 * 10;
                    int numpages = 1024;
                    int totalbytes = pagesize * numpages;
    
                    BoundedSingleProducerSingleConsumerQueue<byte> lockFreeByteQueue = new BoundedSingleProducerSingleConsumerQueue<byte>(1024 * 32);
                    Stopwatch sw = new Stopwatch();
                    sw.Start();
                    ThreadPool.QueueUserWorkItem(delegate(object state)
                    {
                        using (ProcessorAffinity.BeginAffinity(1))
                        {
                            for (int i = 0; i < totalbytes; i++)
                            {
                                while (!lockFreeByteQueue.TryEnqueue((byte)(i & 0xFF))) ;
                            }
                        }
                    });
                    for (int i = 0; i < totalbytes; i++)
                    {
                        byte tmp;
                        while (!lockFreeByteQueue.TryDequeue(out tmp)) ;
                    }
                    sw.Stop();
                    Console.WriteLine("LockFreeByteQueue: {0}ms", sw.ElapsedMilliseconds);
    
    
                    SizeQueue<byte> byteQueue = new SizeQueue<byte>(1024 * 32);
                    sw.Reset();
                    sw.Start();
                    ThreadPool.QueueUserWorkItem(delegate(object state)
                    {
                        using (ProcessorAffinity.BeginAffinity(1))
                        {
                            for (int i = 0; i < totalbytes; i++)
                            {
                                byteQueue.Enqueue((byte)(i & 0xFF));
                            }
                        }
                    });
    
                    for (int i = 0; i < totalbytes; i++)
                    {
                        byte tmp = byteQueue.Dequeue();
                    }
                    sw.Stop();
                    Console.WriteLine("ByteQueue: {0}ms", sw.ElapsedMilliseconds);
    
                    Console.ReadKey();
                }
            }
        }
    }
    

    清单 C,分块测试:

    BoundedSingleProducerSingleConsumerQueue<byte[]> lockfreePageQueue = new BoundedSingleProducerSingleConsumerQueue<byte[]>(32);
    sw.Reset();
    sw.Start();
    ThreadPool.QueueUserWorkItem(delegate(object state)
    {
        using (ProcessorAffinity.BeginAffinity(1))
        {
            for (int i = 0; i < numpages; i++)
            {
                byte[] page = new byte[pagesize];
                for (int j = 0; j < pagesize; j++)
                {
                    page[j] = (byte)(i & 0xFF);
                }
                while (!lockfreePageQueue.TryEnqueue(page)) ;
            }
        }
    });
    for (int i = 0; i < numpages; i++)
    {
        byte[] page;
        while (!lockfreePageQueue.TryDequeue(out page)) ;
        for (int j = 0; j < pagesize; j++)
        {
            byte tmp = page[j];
        }
    }
    sw.Stop();
    Console.WriteLine("LockFreePageQueue: {0}ms", sw.ElapsedMilliseconds);
    
    SizeQueue<byte[]> pageQueue = new SizeQueue<byte[]>(32);
    
    ThreadPool.QueueUserWorkItem(delegate(object state)
    {
        using (ProcessorAffinity.BeginAffinity(1))
        {
            for (int i = 0; i < numpages; i++)
            {
                byte[] page = new byte[pagesize];
                for (int j = 0; j < pagesize; j++)
                {
                    page[j] = (byte)(i & 0xFF);
                }
                pageQueue.Enqueue(page);
            }
        }
    });
    sw.Reset();
    sw.Start();
    for (int i = 0; i < numpages; i++)
    {
        byte[] page = pageQueue.Dequeue();
        for (int j = 0; j < pagesize; j++)
        {
            byte tmp = page[j];
        }
    }
    sw.Stop();
    Console.WriteLine("PageQueue: {0}ms", sw.ElapsedMilliseconds);
    

    【讨论】:

    • 感谢 Andras 和所有其他人您的回答非常完美,适合我的情况。实际上,我不需要您提到的逐字节传输。我可以为我的消费者估计 1 秒提要的大小并将其用作每个 ByteArray 大小,如果我需要 5 秒缓存用于 QoS,那么队列大小将为 5(成员)。如果消费者速度波动,则 ByteArray 大小会发生变化。这个实现很有意义,并且映射到我需要严格控制服务器上消耗 RAM 的设计:D
    • 对不起,我终于做到了!再次感谢
    【解决方案3】:

    Julian M Bucknall 拥有written one in C#

    【讨论】:

      【解决方案4】:

      博士。 Dobbs 实现了一个无锁队列in C++,您可以相对容易地将其应用到 C# 中。当只有一个生产者(可以有任意数量的消费者)时,它可以工作。

      基本思想是使用双向链表作为底层结构以及可移动的头尾引用。当一个项目被生成时,它被添加到末尾,并且从列表的开头到当前“头”之间的所有内容都被删除。吃东西,试着抬起头;如果它碰到尾部,则失败,如果没有,则成功并返回新元素。特定的操作顺序使其本质上是线程安全的。

      但是,在这里使用这种“无锁”设计有两个主要问题:

      1. 没有办法强制队列大小的上限,如果你的生产者比你的消费者快,这可能是一个严重的问题;

      2. 按照设计,如果没有产生任何内容,Consume 方法必须根本无法检索元素。这意味着您需要为消费者实现自己的锁定,而这种锁定总是要么忙着等待(这比锁定性能范围内的锁定差)或定时等待(这会进一步减慢消费者的速度)。

      出于这些原因,我建议您认真考虑是否真的需要无锁结构。很多人来到这个网站时认为它会比使用锁定的等效结构“更快”,但对于大多数应用程序而言,实际差异是如此微不足道,以至于通常不值得增加复杂性,在某些情况下它实际上可以执行更糟,因为等待状态(或警报等待)比忙碌等待便宜得多。

      多核机器和内存屏障的需求使得有效的无锁线程变得更加复杂;在正常操作下,您仍然可以无序执行,而在 .NET 中,抖动可以进一步决定重新排序指令,因此您可能需要在代码中添加 volatile 变量和 Thread.MemoryBarrier 调用,这又是可能有助于使无锁版本比基本同步版本更昂贵。

      如何首先使用一个普通的旧同步生产者-消费者队列,然后分析您的应用程序以确定它是否可以满足您的性能要求?在Joseph Albahari's site 上有一个很棒、高效的 P-C 队列实现。或者,正如 Richard 所提到的,如果您使用的是 .NET 4.0 框架,那么您可以简单地使用 ConcurrentQueue 或更可能的是 BlockingCollection

      首先测试 - 负载测试同步队列,这很容易实现 - 并观察实际花费了多少时间锁定。不是等待(无论如何您都必须这样做),而是在实际获取释放锁定发出信号后。如果它超过你程序执行时间的 1%,我会非常惊讶;但如果是这样,那么开始研究无锁实现 - 并确保你也对它们进行分析,以确保它们实际上表现更好。

      【讨论】:

      • 您应该将并发集合的链接移至帖子顶部。它们可用于此包中包含的 System.Threading 程序集中的 .NET 3.5:msdn.microsoft.com/en-us/devlabs/ee794896.aspx
      • @280Z28:谢谢!我熟悉 4.0 的 ConcurrentQueue,但一直需要 3.5 项目的等效项(因此遇到这个问题)。反应式扩展正是我所需要的!
      【解决方案5】:

      节流在这里很重要,听起来,magazine article 中的 BoundedBuffer 类符合要求。类似的类将在 .NET 4.0 中作为BlockingCollection class 提供。调整缓冲区大小仍取决于您。

      【讨论】:

      • -1:是的,有这样的事情,除非你采取原子操作是“锁定”的奇怪立场。事实上,如果只有一个消费者,你可以创建一个甚至不会活锁的队列。
      • 这一次在 cmets 中有些道理。使用单个生产者、单个消费者,您可以在没有锁的情况下很好地做到这一点,或者与循环缓冲区和一对 volatile 互锁(这些只是 x86/x64 上的编译器栅栏,Itanic 上的 st.rel 和 ld.acq :P )。英特尔网站上有一个无限示例:software.intel.com/en-us/articles/…。我在我的回答中抓住了一个有界 C# 的机会。
      【解决方案6】:

      在 .NET 4 中,System.Collections.Concurrent.Queue&lt;T&gt; 与这些东西一样无锁(但仍然是通用的)。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2010-12-10
        • 1970-01-01
        • 2013-07-24
        • 1970-01-01
        • 2012-11-05
        • 1970-01-01
        • 1970-01-01
        • 2014-02-28
        相关资源
        最近更新 更多