AWS Lambda nodejs长时间运行的过程答案

【问题标题】：AWS Lambda nodejs long running processAWS Lambda nodejs长时间运行的过程
【发布时间】：2021-06-28 22:05:18
【问题描述】：

我正在做一个项目（无服务器、Lambda、Nodejs、MongoDB、SQS），我需要在其中制作价格图表，有一个 API /api/products?country=countryCode 返回有关产品和价格的数据（请参阅响应示例下面），每个国家/地区的价格可能不同，例如，荷兰的价格可以是 12.99 美元，澳大利亚的价格可以是 13.99 欧元（所有其他属性不变）

我在 MongoDb 中有一个国家/地区的集合，该集合中大约有 225 多个国家/地区。我有一个每天触发一次 lambda 函数的 cron 作业。对于每个国家/地区，我需要调用返回需要处理的产品数据（请参阅下面的示例响应）的 API。获取所有数据后，我同时插入产品和价格（产品是唯一的，price count = product count * country count * days）。为了避免国家之间的价格差异，您需要一次插入数据。比如昨天Bladur之剑的价格是17.99美元，今天是18.99美元，我们已经更新了NL的价格，但是AU正在处理中。

请帮我解决以下问题之一：

问题 1（Cron -> Handler）：1 个 API 请求大约需要 6-8 秒。处理所有国家，大约需要 30 (225 * 8 / 60) 分钟，但是，有一个小问题，lambda 函数有超时限制（最大：15 分钟），当然这个时间不足以完成工作。
问题 2（Cron -> 处理程序 -> SQS 处理程序）：我重写了我的代码，而不是运行一个 lambda 函数，而是将每个国家/地区发送到 AWS SQS（消费者/生产者），这会触发一个 lambda 函数，该函数从API 和流程，但是，在这里我有一个问题，即我不知道循环何时结束以立即插入价格。

附：在我看来，我应该使用 Producer/Consumer 来避免丢失国家/地区数据，所以如果有人能解决第二个问题，我会很高兴

MongoDB Product model
{
  id: String,
  title: String,
  ...
}

MongoDB Price model
{
  country: String,
  productId: String,
  price: Number
}

API 响应示例：

GET /api/products?country=NL
[
  {
    "id": "37071265-7f98-4e32-ae45-c23f83e7c7a2",
    "title": "Dusty Book",
    "country": "NL",
    "price": 1299,
    ...
  },
  {
    "id": "49701bcf-c076-4064-b331-0952aee21deb",
    "title": "Sword of Bladur",
    "country": "NL",
    "price": 1799,
    ...
  },
  ...
]
-----
GET /api/products?country=AU
[
  {
    "id": "37071265-7f98-4e32-ae45-c23f83e7c7a2",
    "title": "Dusty Book",
    "country": "AU",
    "price": 1549,
    ...
  },
  {
    "id": "49701bcf-c076-4064-b331-0952aee21deb",
    "title": "Sword of Bladur",
    "country": "AU",
    "price": 1799,
    ...
  },
  ...
]

【问题讨论】：

你能不能在获取时将每个价格插入到临时表中，每次插入后，查看临时表中是否包含所有国家/地区，如果是，请将所有价格复制到最终位置并清空临时表？
似乎 lambda 根本不适合您的用例。

标签： node.js mongodb amazon-web-services serverless timeserieschart

【解决方案1】：

您是否考虑过使用Step Functions？您可以使用一个函数来获取国家/地区列表。其结果可以传递给map 状态，该状态将为每个国家/地区调用一个 lambda，以获取所需的数据。完成所有这些功能后，它就可以调用另一个 lambda 来执行数据库中的最终更新。

【讨论】：