寻找云功能替代品——Kafka

Question

大家，

我们正在为大学开展一个项目。该项目应该在云中运行并且具有高度可扩展性。我们将所有功能外包给 Google Cloud Functions，效果很好。现在，我们正在寻找更适合我们的用例或可以更好地扩展的替代实现。

这就是为什么我们正在寻找一些不同的方法来解决这个用例： 这是一个网络爬虫，来自不同用户的许多并行请求都会发送到该系统。然后系统从不同的网站并行抓取数据并解析内容。随后，将结果重新组合并发送回用户。我在这里所描述的“系统”是一个巨大的云功能/微服务集合，它们正在发挥它们的作用。

我没有使用 Kafka 的经验，但我们考虑过使用流处理。还有其他我们应该考虑的框架吗？有什么建议吗？

提前致谢！

Answer 1

对于您所描述的内容，您应该检查：

1. Google App Engine
2. Google Kuberneted Engine
3. Google Cloud Run

所有 3 种产品都应该适合您的用例，但每种产品都有自己的优缺点。

一旦您阅读了每一个的描述和/或观看了介绍视频，您应该能够确定哪一个最适合您。