高级语言中的“分支预测”和马尔可夫链

Question

某些函数使用分支预测系统，该系统允许对某些数据结构进行更快的计算，例如在包含 if 语句函数的循环中使用排序数据比处理数据要快，而数据未排序（有关分支预测的更多信息，请参阅以下精彩帖子：Why is it faster to process a sorted array than an unsorted array?）。

我的问题很简单：C、Python、MATLAB、R 等高级编程语言是否使用马尔可夫链预测来提高某些计算的速度？

我不是专家，我刚刚开始了解马尔可夫链，但在我看来，每个代码，主要是包含循环的代码，都有某种可用于加速计算的时间可预测随机事件。

示例是应用于包含 1 到 200 之间整数的矩阵的函数，其中 90% 的值小于 100，即 2 位。似乎基于具有 x 或 y 位整数的概率自动“预分配”一定数量的位可以提高性能。

这就是分支预测的工作原理吗？这是否扩展到任何计算？

Answer 1

关于大整数

理论上，如果计算整数乘法实际上是位大小的递增函数，那是正确的。也就是说，如果整数乘法被实现为带有 if 语句的循环。然而，32 位整数的计算将与当前 64 位 CPU 上的 16 位整数或 64 位整数的成本“相同”，因为它们将使用硬件中实现的相同加法器门。在Performance 32 bit vs. 64 bit arithmetic

可以找到更多相关的讨论

相反，如果您手动存储这些部分大小的值（例如位域、位向量），则会产生额外开销。

假设现在我们谈论的是非常大的整数，想想java.math.BigInteger。那么您说得对，您可以通过预先分配所述位数而不是从 1 个单位（“数字”）开始并在执行操作时创建新的“数字”来获得性能优势。只需看看OpenJDK Implementation of BigInteger.multiply()。这正是他们在multiply 方法中所做的。这个想法在某些方面也与Pre-allocation performance tip for MATLAB 有关。当您可以轻松地预分配数组时，不要在 OutOfBounds 上进行不必要的分支。

实践中

现在直接回答您关于语言是否利用马尔可夫链的问题，我相信不会。我所见过的任何语言源（或引擎，就此而言）都没有维护真正的马尔可夫链。大多数高级语言在其上下文中都是通用的，因此状态预测会给任何类型的计算增加相当大的开销。回到java.math.BigInteger 的例子，只分配数字的总和几乎总是比使用存储状态的预测机制更快。它可能会在结果中节省内存，但对性能不利。 CPU 本身依赖于状态机（可以被认为是马尔可夫链）来执行预测优化，但这是因为它可以在没有明显成本损失的情况下负担得起（参见wiki on branch prediction 或java hardware array prefetching 中的示例）。

话虽如此，时间可预测事件的想法是总体上提高性能的关键，并且可以被利用；它不仅限于分支预测。数据组织对性能至关重要。示例包括 Generational Garbage Collection in .NET、Efficient Management of Particles in Particle FX 和 Web Server Predictive Prefetching。最后一个实际上使用了马尔科夫预测器，以便根据用户日志确定要预取到缓存中的页面。在智能数据组织的游戏引擎和运行时实现中可以找到许多其他示例，以击败分支预测或完全跳过它！

tldr;

在实际开发中，大多数优化依赖于对数据进行简化假设，而不是应用马尔可夫预测器。因此，如果您希望利用分支预测，请了解您的数据并将其组织好。这将改善您的预测，或让您完全跳过它。使用预测器可能会花费您更多的开发和执行时间。如果您仍然觉得预测器可能会有所帮助，请维护一个简单的状态机并将其与简单的解决方案进行基准测试。