除了后端和 API 之外，Google App Engine 是否可以用于其他进程？

Question

可以使用谷歌应用引擎运行网络爬虫吗？

我有一个以亚马逊网上商店产品的特定 ID（或 ASIN 编号）开头的爬虫进程。然后，该过程使用亚马逊产品广告 API 来获取类似产品。获取同类商品后，通过其 ASIN 号调用其他同类商品的 API。此过程假设获取大约 25,000 种产品的信息，大约需要 3-6 小时。

现在我的客户想要使用不同的初始 ASIN 编号运行此流程的多个实例。我给了他一个关于如何使用谷歌计算引擎制作整个系统的建议，但他渴望使用谷歌应用引擎。他认为应用引擎会以某种方式自动生成爬虫实例。

由于谷歌应用引擎用于后端和 API，我担心在应用引擎上部署这样的爬虫系统会有其局限性。

Answer 1

是的。您可以获取基本 URL，抓取数据，获取相关产品的 url，然后启动 taskqueues 以获取每个后续​​ url。冲洗并重复。