如何使用 AWS JavaScript SDK (dynamoDB) 处理 UnprocessedItems？

Question

我正在尝试使用 AWS Lambda 函数来处理来自 SendGrid 的事件。据我了解，该事件将是一个包含可变数量 JSON 对象的数组，每个对象代表一个给定事件。我想使用 batchWriteItem 将这些事件写入 DynamoDB 并循环该过程，直到我没有返回任何 UnprocessedItems。但是，我陷入了无限循环。这是我现在的代码：

console.log('Loading function');

var aws = require('aws-sdk');
var dynamo = new aws.DynamoDB();
params = {};

exports.handler = function(sg_event, context) {

    var items = [];
    for(var i = 0; i < sg_event.length; i++) {
        var obj = sg_event[i];
        var request = {
            PutRequest: {
                Item: {
                    email: { S: obj.email },
                    timestamp: { S: obj.timestamp.toString() },
                    sg_message_id: { S: obj.sg_message_id },
                    event: { S: obj.event }
                }
            }
        };
        items.push(request);
    }

    params = {
        RequestItems: {
            sendgrid_response: items
        }
    }

    do {
        dynamo.batchWriteItem( params, function(err, data) {
            if(err)
                context.fail(err);
            else
                params.RequestItems = data.UnprocessedItems;
        });
    } while(!isEmpty(params.RequestItems));
};

function isEmpty(obj) {
    return (Object.keys(obj).length === 0);
}

我认为问题在于尝试在回调函数中设置参数，但我不知道我应该怎么做...我知道我可以在回调中使用 UnprocessedItems 调用另一个 batchWriteItem原始的，但我仍然需要能够根据需要多次运行该函数，以确保写入所有未处理项。如何正确循环 batchWriteItem？

Answer 1

Nodejs 是单线程的，它首先执行所有主要功能，因此您的 while 循环永远不会完成，回调永远不会执行。

这是你的做法：

//db is AWS.DynamoDB Client
var processItemsCallback = function(err, data) {
  if (err) { 
     //fail
  } else {
    var params = {};
    params.RequestItems = data.UnprocessedItems;
    db.batchWriteItem(params, processItemsCallback);
  }
};

db.batchWriteItem(/*initial params*/, processItemsCallback);

Answer 2

@Daniela Miao，感谢分享解决方案。

我们可以在您发布的代码中添加一个代码块，以避免 DynamoDB 异常。这将在再次请求 DynamoDB 进行批量写入之前检查 params.RequestItems 是否有未处理的数据。

//db is AWS.DynamoDB Client
var processItemsCallback = function(err, data) {
  if (err) { 
     //fail
  } else {
    var params = {};
    params.RequestItems = data.UnprocessedItems;
    /*
    * Added Code block 
    */
    if(Object.keys(params.RequestItems).length != 0) {
      db.batchWriteItem(params, processItemsCallback);
    }
  }
};

db.batchWriteItem(/*initial params*/, processItemsCallback);

Answer 3

这是我使用“await”语法的代码示例。所以这段代码必须在异步函数中。它会在重试之前随机延迟。

do {
    batchWriteResp = await dynamo.batchWriteItem({RequestItems:batchWriteItems}).promise()
    if (Object.keys(batchWriteResp.UnprocessedItems).length>0) {
        batchWriteItems = batchWriteResp.UnprocessedItems
        // delay a random time between 0.5~2.5 seconds
        const delay = Math.floor(Math.random() * 2000 + 500)
        await new Promise(resolve => setTimeout(resolve, delay));
    } else {
        break
    }
} while (true)

Answer 4

对 BatchGetItem 使用递归的非常简洁的解决方案（其工作方式与 BatchWrite 完全相同）：

    public async batchGet(params: BatchGetItemInput, output: BatchGetResponseMap): Promise<BatchGetResponseMap> {
    const batchGetItemOutput: BatchGetItemOutput = await this.documentClient.batchGet(params).promise();

    Object.keys(batchGetItemOutput.Responses).forEach(tableName => {
        if (output[tableName]) {
            output[tableName] = output[tableName].concat(batchGetItemOutput.Responses[tableName]);
        } else {
            output[tableName] = batchGetItemOutput.Responses[tableName];
        }
    });

    if (Object.keys(batchGetItemOutput.UnprocessedKeys).length !== 0) {
        output = await this.batchGet({ RequestItems: batchGetItemOutput.UnprocessedKeys }, output);
    }

    return output;
}

Answer 5

根据 AWS 文档，SDK automatically handles the retry logic:

注意 AWS 开发工具包实现自动重试逻辑和指数退避。

最大重试次数为configurable through：

var dynamodb = new AWS.DynamoDB({apiVersion: '2012-08-10', maxRetries:5});