建议在不同级别上使用并行计算

Question

我们知道，较长的任务比较短的任务使用并行计算更好，以便在切换许多小任务时节省操作系统时间。我正在寻找您的 cmets 并就以下情况提供建议。我有 6 个可以并行的任务，每个任务都有一个也可以并行的小任务。假设我有 64 个可以使用的内核。

对 6 个较大的任务使用并行，然后在每个任务中再次并行，是否谨慎？

Answer 1

您已经回答了自己的问题。如果单个任务很短，并行化的开销将导致总计算时间增加而不是减少。当具有这种并行作业的层次结构时，这并没有真正改变。我认为开销更大，因为信息必须从最小的作业中传递，通过中间作业传递到顶层。如果您的最小任务不需要花费大量时间，比如至少几秒钟，那么并行化就没有帮助。