使用Orleans，如何实现分布式数据存储的分布式计算？

Question

我是分布式计算和orleans的新手，最近做了一些研究，不确定orleans是否可以用于新任务。

这个任务是，有很多项目属于不同的人，每个项目都有很多数据。对于每个项目，步骤如下：

1. 通过计算原始数据获取新数据。原始数据存储在分布式数据库中，然后将新数据存储回数据库。 MQ 或 Redis 可用于提高性能。
2. 根据新数据计算汇总值并将汇总值保存回数据库。

我的问题是：

1. 服务器/Grain 负载平衡： 没有唯一 ID 的 Grans。最好在所有服务器上运行多个grain进行负载均衡，每个grain只是从数据库中获取数据并进行计算，不需要创建一个id的实例。对于奥尔良来说，除了无状态的grain外，不允许没有唯一id的grain，无状态的grain只是在本地运行。
2. 长期计算：计算和总结可能需要几秒或几分钟才能完成，是否推荐使用grains？文档中似乎不推荐。
3. 顺序执行：需要先从原始数据中计算出新值，然后再根据新值进行汇总。这意味着必须在所有要计算的grains完成后运行汇总grains。
4. 数据缓存： Grains 通过本地网络从数据库中获取数据并保存到数据库中，对于 orleans 有什么减少数据传输的建议吗？

Answer 1

1. 服务器/Grain 负载平衡：无状态的 worker grain 非常适合自动横向扩展。如前所述，呼叫将被路由到当前筒仓上的谷子（如果呼叫来自客户端，则路由到网关筒仓）。对于长时间运行的任务，横向扩展实际上仅限于与 CPU 内核数量相匹配的粒度。但是，听起来您可以/想要控制横向扩展。我建议使用Guid.NewGuid() 路由到您自己的“无状态”谷物。或者，查看将工作发布到流。流事件将由所有孤岛上的不同代理提取并在整个集群中处理。
2. 长期计算：这取决于您的工作和代码的具体情况，但总的来说，我认为 Orleans “轮次”并不适合长期运行的任务。 Orleans 执行模型为集群中的每个 CPU 内核提供一个线程。如果你的 Orleans 线程都被锁定到长时间运行的grain调用，其他grain调用可能会开始失败/超时。您可以通过将长期运行的任务分成更小的块来解决该问题。或者，您可以在单独的线程中运行长时间运行的任务（请参阅External Tasks and Grains）。如果需要，请务必查看调整默认的grain调用超时。
3. 顺序执行：您可以让从原始数据计算值的grain 在作业完成时向计算摘要的grain 发送通知。如果您的摘要可以/应该以增量方式计算，则只需计算每个通知的摘要。但是，如果您需要等待所有作业完成，那么只需让计算摘要的粒度跟踪哪些仍处于待处理状态。然后，仅在收到所有通知后计算摘要。
4. 数据缓存：您可以将数据缓存在grain 实例变量中。这通常会减少所需的数据库调用次数，因为后续的grain调用将在一段时间内路由到相同的激活（直到它空闲并停用）。