队列的性能？期望有大量的 RAM 使用，但我却得到大量的 CPU 使用

Question

假设我正在以每秒 50 到 200 次的可变速率接收信号。我想将收到的每个信号的时间戳存储到队列中，以便在超过 1 周前收到信号时将其从队列中删除。

public Queue<long> myQueue = new Queue<long>();

public OnSignalReceived()
{
    myQueue.Enqueue(DateTime.UtcNow.Ticks);
    PurgeOldSignals();
}

public void PurgeOldSignals()
{
    while (myQueue.Count > 0 && myQueue.Peek() < DateTime.UtcNow.AddDays(-7).Ticks)
    {
        myQueue.Dequeue();
    }
}

有没有更有效的方法来做到这一点？这是我的实现，我希望利用大量内存（因为假设平均每秒 100 个信号，这意味着队列将在开始清除项目之前保存大约 6000 万个项目（！））作为交换由于 Enqueue() 和 Dequeue() 的 O(1) 时间而具有计算性能。

然而，经过测试，我注意到瓶颈是 CPU 而不是 RAM。事实上，RAM 几乎没有被吃光，但 CPU 使用率从未停止增加。这是运行大约 16 小时后的结果（显然与我的 7 天目标相去甚远）

有什么优化的建议吗？

编辑 1：

事实上，这样做的全部目的只是随时了解我在上周收到了多少信号（精确到实际秒数）。也许有更好的方法来实现这一点？

Answer 1

对于给定的任务，我将创建 3600*24*7 整数的循环队列。每个整数都表示该秒内的事件数（一周内的每一秒）。它只需要几兆字节。在测量事件上，对应于实际秒数 (=now) 的整数将增加。对数组中的所有项目求和会很方便，只需在更改时更新它即可快速获得它。

public class History
{
    protected int eventCount = 0;
    protected int[] array;
    protected readonly int _intervalLength_ms;
    long actualTime = 0;
    int actIndex = 0;

    public History(int intervalLength_ms, int numberOfIntervals)
    {
        _intervalLength_ms = intervalLength_ms;
        array = new int[numberOfIntervals];
    }

    public int EventCount
    {
        get
        {
            Update();
            return eventCount;
        }
    }

    public void InsertEvent()
    {
        Update();
        array[actIndex]++;
        eventCount++;
    }

    protected void Update()
    {
        long newTime = DateTime.Now.Ticks / 10000 / _intervalLength_ms;

        while (newTime > actualTime && eventCount > 0)
        {
            actualTime++;
            actIndex++;
            if (actIndex >= array.Length)
            {
                actIndex = 0;
            }
            eventCount -= array[actIndex];
            array[actIndex] = 0;
        }

        if (newTime > actualTime)
        {
            actualTime = newTime;
            actIndex = (int)(actualTime % array.Length);
        }
    }
}

它将使用参数new History(1000, 3600*24*7) 构造。

Answer 2

我看到两个问题：

1. （次要）但 DateTime.Now 比 DateTime.UTCNow 贵得多，因此您可能希望将其排除在循环之外，而不是执行 6000 万次。
2. （主要）每次收到信号时，您都在循环数百万个项目。如果您只想清除 7 天前的信号，您应该每天只运行一次清除。

Answer 3

我怀疑这慢的原因是因为这个

如果 Count 已经等于容量，则 Queue 的容量为 通过自动重新分配内部数组来增加，并且 现有元素在新元素之前被复制到新数组中 被添加。

如果 Count 小于内部数组的容量， 此方法是 O(1) 操作。如果内部数组需要 重新分配以容纳新元素，此方法变为 O(n) 运算，其中 n 为 Count。

来自Queue<T>.Enqueue()here 上的 MSDN 文档。 CPU 使用率与 n 成比例增加，因为您正在对 myQueue 执行 O(n) 操作。

然后解决方案是通过调用var myQueue = new Queue<long>(n); 分配您希望该程序立即使用的尽可能多的内存，然后您的代码将进行所需的更改并切换到高内存使用率而不是 CPU 使用率。