选择最不可能出现在真实数据中的魔术字节

Question

我希望这对 SO 来说不是太固执己见；它可能没有一个好的答案。

在我正在编写的库的一部分中，我有一个字节数组，其中填充了用户提供的值。这些值可能是 Float、Double、Int（不同大小）等类型，具有您可能期望 C 中的二进制表示，例如。这就是我们可以说的关于价值观的全部内容。

我有机会进行优化：我可以用字节MAGIC 初始化我的字节数组，然后只要用户提供的值的没有字节 等于MAGIC，我就可以走快路，否则我需要走慢路。

所以我的问题是：什么是选择我的魔法字节的原则方法，这样它就有可能不会出现在我收到的（各种编码和分布的）数据中？

我想，我的部分问题是，是否有类似 Benford's law 的东西可以告诉我有关字节在多种数据中的分布情况。

Answer 1

从您的图书馆的应用程序将使用的各种输入中捕获真实世界的数据。

编写一个快速而肮脏的程序来分析数据集。听起来您想知道哪些字节最常被完全排除。所以程序的输出会说，对于每个字节值，有多少输入不包含它。

这与最不频繁的字节不相同。在数据分析中，您需要注意准确地测量您正在测量的内容！

使用分析来定义您的架构。如果没有任何字节出现，则可以完全放弃优化。

Answer 2

我倾向于使用字节 255，但我发现这在 MSWord 文件中也很普遍。所以我现在使用字节 254，用于终止文件的 EOF 代码。