pthread 只有在线程数很少时才能正常工作

Question

我正在尝试逐像素加密 BMP 图像，并使用 pthread 并行加密它们。

我的代码是这样的：

struct arg_struct {
    int arg1;
    int arg2;
    ...
};

void* print_message(void* arguments) {
    struct arg_struct* args = (struct arg_struct*)arguments;

    //Encryption...

    // exit from current thread
    pthread_exit(NULL);
}

void multiThreadExample() {
    cout << "Start..." << endl;
    const int NUMBER_OF_THREADS = 50000; // number of pixels
    pthread_t thread[NUMBER_OF_THREADS];
    arg_struct arg[NUMBER_OF_THREADS];
    for (int i=0;i<NUMBER_OF_THREADS;i++) {
        arg[i].arg1 = i;
        arg[i].arg2 = ... // give values to arguments in arg_struct
        pthread_create(&thread[i], NULL, print_message, static_cast<void*>(&arg[i]));
    }

    for(int i = 0; i < NUMBER_OF_THREADS; i++) {
        pthread_join(thread[i], NULL);
    }

    cout << "Complete..." << endl;

    //streaming results to file using filebuf
}

int main() {

    multiThreadExample();

    return 0;
}

如果图像小到 3*3 就可以了。

如果图像变大，例如 240*164，程序会在 AFTER 打印出“Complete...”时冻结

几分钟后，它显示Segmentation fault (core dumped)。

我不确定是什么让程序在最重的部分（加密）已经完成后冻结。是不是因为这么多线程已经占满了我所有的内存空间？运行时最大占用10G以上。

---

实际上我已经尝试过不使用多线程，但程序仍然冻结。

Answer 1

50000 个线程太疯狂了。您很可能会用尽内存来为线程分配堆栈。通常，要通过并行性充分利用 CPU，您只需要与 CPU 内核一样多的线程 - 这是您可以在硬件中获得的实际并发量的限制。再多的线程，你只是在消耗资源来产生线程创建和上下文切换的开销。

相反，创建一个与您拥有的内核数量相等的线程池，并将您的图像分成块，然后将它们调度到您创建的线程上。