避免客户端/服务器数据同步间隙

Question

我有一个客户端/服务器架构，客户端在连接时执行以下操作：

• 打开到服务器的套接字并请求更改流（“流”）。
• 从服务器获取所有数据（“快照”）。

所以这里的想法是快照将在连接点获取客户端所有相关数据，并且流将继续发送更改 - 这样客户端就不必一遍又一遍地进行轮询和获取快照.

这样做的问题是快照和流启动之间存在间隙，这可能导致数据丢失。示例：

1. 客户端从服务器请求快照和流。
2. 服务器从数据库中获取快照。
3. 另一个客户端提交了对 db 的更改（因此快照已过时）。更改将发送到所有流。
4. 客户端的流已启动。

正如您在上面看到的，客户端最终得到一个过时的快照，并且由于流 init 是异步的，它可能会错过对数据库的更改（它永远不会看到第 3 步中的更改）。

我对如何解决这个问题有一些想法，但到目前为止我对其中任何一个都不满意：

1) 先初始化流，然后获取快照。我不相信这个是安全的，因为这假设流服务器（rabbitmq/kafka/pulsar）不会错过传输中的消息。 2) 让流也推送在连接时间前最后 X 秒内所做的更改。这不是很好，因为它对概率进行时间假设和赌注。

感谢所有输入！

Answer 1

一些建议：

1. 让其他人为您处理此问题（例如，使用 Google Cloud Firestore）。
2. 我不确定这些消息将包含什么，但如果可以使数据库的状态只是流中发送的所有事务消息的总和（即，如果您按时间顺序重播所有消息，则总是以相同的状态结束）然后你可以让服务器给每条消息一个单调递增的 id。当客户端重新连接时，它会告诉服务器它的最大数量，并且服务器会发送所有具有更高 id 的消息。

Answer 2

为什么不先启动流，然后请求快照？

1. 启动流并将所有收到的记录排队
2. 请求快照
3. 处理快照
4. 处理排队的流条目（并忽略早于快照的条目）
5. 处理流

在处理完快照之前，不要处理流中的任何内容（仅将其排队以供内部处理）。

每条记录都应该有某种标记，用于标识记录何时更改。因此，如果流包含比快照中的记录更旧的记录，只需不处理它（在同步阶段）