为什么当我运行一个计数为 5368709120 和几行 memcpy 的 for 循环时性能会大大降低？

Question

我正在分配三个大型字节数组并将它们初始化为一些值。我必须对这三个数组之间的每 64 位执行一次操作。我创建了一个 for 循环来遍历这些数组，并使用 memcpy 将连续的 8 字节（64 位）转换为 64 位整数并在它们之间执行操作。后来，计算了for循环所用的时间。我在这里给出了我的代码。

#include <stdio.h> 
#include<iostream>
#include<ctime>
#include<Windows.h>
#include<chrono>
using namespace std;
BYTE* buffer1;
BYTE* buffer2;
BYTE* buffer3;
int main()
{
    unsigned long long offsetValue = 0;
    int64_t data1, data2, data3;
    unsigned long long BufferSize = 5368709120;
    buffer1 = (BYTE*)malloc(BufferSize);
    buffer2 = (BYTE*)malloc(BufferSize);
    buffer3 = (BYTE*)malloc(BufferSize);
    memset(buffer1, 0, BufferSize);
    memset(buffer2, 1, BufferSize);
    memset(buffer3, 1, BufferSize);
    bool overallResult = false;
    bool stopOnFail = false;
    auto start = chrono::steady_clock::now();
    for (unsigned long long i = 0, cycle = 0; i<BufferSize; i += 8, ++cycle)
    {
        long long offset = (offsetValue * 8) + i;
        if (offset> BufferSize - 1)
            break;
        else if (offset< 0)
            continue;
        memcpy(&data1, buffer1 + offset, sizeof(int64_t));
        if (data1 == -1)
            continue;
        memcpy(&data2, buffer2 + offset, sizeof(int64_t));
        memcpy(&data3, buffer3 + offset, sizeof(int64_t));
        int64_t Exor = data2 ^ data3^-1;
        int64_t Or = Exor | data1;
        bool result = Or == -1;

        overallResult &= result;
        if (!result)
        {
            if (stopOnFail)
                break;
        }
    }
    auto ending = chrono::steady_clock::now();
    cout << "For loop Execution time in milliseconds :"
        << chrono::duration_cast<chrono::milliseconds>(ending - start).count()
        << " ms" << endl;
    free(buffer1);
    free(buffer2);
    free(buffer3);
    system("pause");
    return 0;
}

对于 4294967296 的循环计数给了我 760 毫秒的时间。但是对于 5368709120 的循环计数给了我 25000 毫秒的时间。是什么消耗了 for 循环中的时间？我应该如何优化？

Answer 1

1。您没有在循环外使用值overallResult，因此一个好的优化编译器可以完全优化循环。 MSVC 可能不是那么聪明，但它仍然是一个好主意，例如最后打印出overallResult。

2。您正在分配（并实际使用）3 × 5,368,709,120 字节 = 15 GB。 Windows 10 系统使用远远超过 1 GB 来运行（尤其是与 Visual Studio 结合使用），因此在 16 GB 的系统上，分配 15 GB 将不可避免地导致paging，这很可能是您所观察到的（此外，大约 20..40 倍的减速是内存分页的特征）。

验证：

• 打开性能监视器 (perfmon.exe)
• 添加计数器 -> 分页文件 -> %使用率
• 运行您的程序

如果分页计数器 > 0，那么您没有足够的 RAM，并且由于从磁盘读取页面，内存循环会变慢。

您还可以在 任务管理器 -> 性能 选项卡中查看 RAM 使用情况。