存储一位十进制数字

Question

我有一个与大量小整数（实际上是十进制数字）有关的问题。存储此类数据的空间有效方式是什么？

使用std::bitset<4> 存储一位十进制数字是个好主意吗？

Answer 1

根据 它必须如何节省空间以及检索的效率应该如何，我看到了两种可能性：

• 由于std::bitset<4> 的向量（据我所知）存储在未打包的设置中（每个位集都存储在一个 32 位或 64 位的内存字中），因此您可能至少应该使用打包表示，例如使用 64 位字存储 16 位：

  store (if the digit was not stored before):
  block |= digit << 4 * index
  load:
  digit = (block >> 4 * index) & 0xF
  reset:
  block &= ~(0xF << 4 * index);
  

这些 64 位字的向量 (uint64_t) 连同一些访问方法应该很容易实现。

• 如果您的空间要求更严格，您可以使用例如尝试使用除法和模数将 3 位数字打包成 10 位（最多 1024），这会大大降低时间效率。此外，与 64 位字的对齐要困难得多，所以如果您需要获得最终 16% 的改进，我只建议您这样做，最多可以得到每位数 3.3 位。

Answer 2

如果您想要一种非常紧凑的方式，那么不，使用bitset<4> 是个坏主意，因为bitset<4> 将使用至少一个字节，而不是4 位。

我建议使用std::vector<std::uint32_t>

您可以在 uint32_t 中存储多个数字。两种常用方式：

1. 每个数字使用 4 位，并使用位运算。这样，您可以在 4 个字节中存储 8 个数字。在这里，设置/获取操作非常快。效率：4bit/digit
2. 使用 base 10 编码。 uint32_t 最大值为 256^4-1，可以在 4 个字节中存储 9 个数字。效率：3.55bit/digit。在这里，如果您需要设置/获取所有 9 位，那么它几乎与以前的版本一样快（因为除以 10 将由一个好的编译器优化，CPU 不会进行实际的除法）。如果你需要随机访问，那么 set/get 会比之前的版本慢（你可以通过libdivide 加快速度）。

如果你使用uint64_t而不是uint32_t，那么第一种方式可以存储16位（相同的4bit/digit效率），第二种方式可以存储19位：3.36bit/digit efficieny，很漂亮接近理论最小值：~3.3219bit/digit

Answer 3

使用 std::bitset 存储一位十进制数字是个好主意吗？

是的，原则上这是个好主意。这是一个众所周知的优化，称为BCD 编码。

（实际上是十进制数字）。存储此类数据的空间有效方式是什么？

您可以使用占用字节的一个半字节来压缩十进制数字表示。数学也可以应用优化，而不是数字的 ASCII 表示等。

std::bitset<4> 不能很好地压缩数据。
std::bitset<4> 仍将占用一个完整字节。

我能想到的另一种数据结构是位域

// Maybe #pragma pack(push(1))
struct TwoBCDDecimalDigits {
    uint8_t digit1 : 4;
    uint8_t digit2 : 4;
};
// Maybe #pragma pack(pop)

甚至还有一个可用的库，可以将此格式转换为目标 CPU 架构支持的标准化数字格式：

• XBCD_Math

---

我能想到的另一种方法是编写自己的类：

class BCDEncodedNumber {
    enum class Sign_t : char {
        plus = '+' ,
        minus = '-'
    };
    std::vector<uint8_t> doubleDigitsArray;
public:
    BCDEncodedNumber() = default;
    BCDEncodedNumber(int num) {
        AddDigits(num); // Implements math operation + against the
                        // current BCD representation stored in 
                        // doubleDigitsArray.
    }    
};