使用 Google App Engine 的大型多用户实时应用程序

Question

我正在构建一个使用 Google App Engine (Python) 的多用户实时应用程序，它看起来像 Facebook 直播插件：https://developers.facebook.com/docs/reference/plugins/live-stream/

这意味着：同一网页上的 1 到 1 000 000 名用户可以执行立即通知其他所有人的操作。这就像一个群聊，但有很多人......

我的问题：
- App Engine 能够扩展到到那种数字吗？
- 如果是，你会如何设计它？
- 如果没有，您有什么建议？

现在，这是我的设计：
- 我正在使用 App Engine 频道 API
- 我将每个连接的用户都存储在内存缓存中
- 每次执行操作时，都会向任务队列中添加一个通知任务
- 任务在于从 memcache 中检索所有用户并向他们发送通知。

我知道我的瓶颈在于任务。每个人都通过相同的任务/请求得到通知。目前，对于 30 个连接的用户，它持续大约 1 秒，对于 100 000 个用户，您可以想象需要多长时间。

你会如何纠正这个问题？

非常感谢

Answer 1

您希望每位用户每秒有多少更新？如果每个用户每小时只更新一次，您将每小时发送 10^12 条消息——每发送一条消息会导致多发送 1,000,000 条消息。这是每秒 277 百万 条消息。换句话说，如果每个用户一个小时发送一条消息，则每秒可以收到 277 条传入消息，或 2.77 亿条传出消息。

所以我认为你的基本设计是有缺陷的。但基本问题：“我如何向大量用户广播相同的消息”仍然有效，我会解决它。

正如您所发现的，Channel API 并不擅长广播，因为每次调用大约需要 50 毫秒。您可以通过并行执行多个任务来解决此问题。

对于这样的情况——许多需要完全相同的无状态数据的客户端，我建议您使用轮询，而不是 Channel API，因为每个客户端都会收到确切的相同的信息——无需向每个客户发送个性化的消息。确定可接受的平均延迟（例如 1 秒）并以该速率的两倍（例如 2 秒）进行轮询。编写一个非常轻量级、支持 memcache 的 servlet，以获取最新的数据块并让客户端进行重复数据删除。