非常非常大的实体组的交易

Question

我正在尝试设计一个可以容纳大量数据的数据模型，有大数据量经验的人对此有何反馈，即：

// example only, not meant to compile
public class TransactionAccount {
    private long balance;
    private List<Transaction> transactions = new ArrayList<Transaction>();
    ....
    public long getBalance() { return balance; }
}
private class Transaction {
    public Date date;
    public long amount;
}

根据我的阅读，在插入 Transaction 和更新 balance 时获得事务完整性的唯一方法是使其成为一个实体组。

但是，随着时间的推移，特定TransactionAccount 将有数百万笔交易。对该实体组的写入次数会很少，但读取次数会高得多。

我知道它可能会被分片，但是读取balance 是一个非常频繁的操作，而对它进行分片会使getBalance() 最常见的操作之一成为最慢的操作。

Answer 1

您描述的安排应该可以正常工作。如果您的实体组变得过大（在这成为问题之前我们正在谈论数百兆字节的事务），您可以编写一个“汇总”旧事务的过程：用单个事务替换一组旧事务记录这些交易的总和，以保持余额等于所有交易的总和的不变性。如果您仍需要存储这些旧的“汇总”交易的记录，您可以在执行汇总之前将它们复制到单独的实体组中。

Answer 2

您是正确的，Transaction 和 TransactionAccount 必须在同一个实体组中才能执行事务性插入和更新操作。

分片的原因是为了减少写竞争，但你说这将是一个低写实体，所以这里不需要分片。

为了减小实体组的大小，您可以使用某种类型的归档过程。例如，如果这是针对银行账户的，那么在生成月结单时，您可以归档该月的交易价值。