无法使用 DocumentClient - Nodejs 将项目写入 DynamoDB 表

Question

我对 DynamoDb 绝对是全新的，我正在尝试简单地从 NodeJS Lambda 编写一个对象。根据我阅读和研究的内容，我可能应该使用来自aws-sdk 的DocumentClient。关于 DocumentClient 的问题，我还发现了以下question here，但它似乎并没有解决我的具体问题......不幸的是，我无法真正找到/确定。我已经设置了一个调试器来帮助进行 SAM 本地开发，但它似乎只提供了一些错误。

这里显示了代码的实现。

var params = {
     TableName: "March-Madness-Teams",
     Item: {
        "Id": {"S": randstring.generate(9)},
        "School":{"S": team_name},
        "Seed": {"S": seed},
        "ESPN_Id": {"S": espn_id}
      }
    }
  console.log(JSON.stringify(params))

   dynamodb.put(params, (error,data) => {
      if (error) {
         console.log("Error ", error)
      } else {
         console.log("Success! ", data)
      }
   })

基本上，我正在使用cheerio 库和从DOM 中挑选值并将它们保存到如下所示的json 对象中来清理网站。

{
  "TableName": "March-Madness-Teams",
  "Item": {
    "Id": {
      "S": "ED311Oi3N"
    },
    "School": {
      "S": "BAYLOR"
    },
    "Seed": {
      "S": "1"
    },
    "ESPN_Id": {
      "S": "239"
    }
  }
}

当我尝试将此 json 对象推送到 Dynamo 时，出现错误提示

Error  MultipleValidationErrors: There were 2 validation errors:
* MissingRequiredParameter: Missing required key 'TableName' in params
* MissingRequiredParameter: Missing required key 'Item' in params

上面的错误一切都很好......我认为它不喜欢我将这些键包装在字符串中的事实，所以我删除了引号并发送了以下内容

{
  TableName: "March-Madness-Teams",
  Item: {
    "Id": {
      "S": "ED311Oi3N"
    },
    "School": {
      "S": "BAYLOR"
    },
    "Seed": {
      "S": "1"
    },
    "ESPN_Id": {
      "S": "239"
    }
  }
}

但是，当我这样做时……我什么也得不到。

这是一个更大的代码sn-p。

return new Promise((resolve,reject) => {
            axios.get('http://www.espn.com/mens-college-basketball/bracketology')
            .then(html => {

                const dynamodb = new aws.DynamoDB.DocumentClient()

                let $ = cheerio.load(html.data)
                $('.region').each(async function(index, element){
                    var preregion = $(element).children('h3,b').text()
                    var region = preregion.substr(0, preregion.indexOf('(') - 1)

                    $(element).find('a').each(async function(index2, element2){
                        var seed = $(element2).siblings('span.rank').text()
                    if (seed.length > 2){
                        seed = $(element2).siblings('span.rank').text().substring(0, 2)
                    }

                    var espn_id = $(element2).attr('href').split('/').slice(-2)[0]
                    var team_name = $(element2).text()
                    var params = {
                        TableName: "March-Madness-Teams",
                        Item: {
                            "Id": randstring.generate(9),
                            "School":team_name,
                            "Seed": seed,
                            "ESPN_Id": espn_id
                        }
                    }
                    console.log(JSON.stringify(params))

                    // dynamodb.put(params)
                    //     .then(function(data) {
                    //         console.log(`Success`, data)
                    //     })
                })
              })
            })
        })

Answer 1

你可以尝试不使用类型吗？

代替

    "School":{"S": team_name},

例如，使用

    "School": team_name,

Answer 2

从您的代码中，我可以看到 dynamodb 请求中的错误承诺。试着改变你的台词：

dynamodb.put(params).then(function(data) {
    console.log(`Success`, data)
})

成为：

dynamodb.put(params).promise().then(function(data) {
    console.log(`Success`, data)
})

您也可以与 await 结合使用：

await dynamodb.put(params).promise().then(function(data) {
    console.log(`Success`, data)
})

Answer 3

exports.lambdaHandler = async (event, context) => {
    const html = await axios.get('http://www.espn.com/mens-college-basketball/bracketology')
    let $ = cheerio.load(html.data)
    const schools = buildCompleteSchoolObject(html, $)
    try {
        await writeSchoolsToDynamo(schools)
        return { statusCode: 200 }
    } catch (error) {
        return { statusCode: 400, message: error.message }
    }
}

const writeSchoolsToDynamo = async (schools) => {
        const promises = schools.map(async school => {
            await dynamodb.put(school).promise()
        })

        await Promise.all(promises)
}

const buildCompleteSchoolObject = (html, $) => {
    const schools = []

    $('.region').each(loopThroughSubRegions(schools, $))
    return schools
}
const loopThroughSubRegions = (schools, $) => {
    return (index, element) => {
        var preregion = $(element).children('h3,b').text()
        var region = preregion.substr(0, preregion.indexOf('(') - 1)
        $(element).find('a').each(populateSchoolObjects(schools, $))
    }
}
const populateSchoolObjects = (schools, $) => {
    return (index, element) => {
        var seed = $(element).siblings('span.rank').text()
        if (seed.length > 2) {
            seed = $(element).siblings('span.rank').text().substring(0, 2)
        }
        var espn_id = $(element).attr('href').split('/').slice(-2)[0]
        var team_name = $(element).text()
        schools.push({
            TableName: "March-Madness-Teams",
            Item: {
                "Id": randstring.generate(9),
                "School": team_name,
                "Seed": seed,
                "ESPN_Id": espn_id
            }
        })
    }
}

我知道这与我开始的方式截然不同，但我做了更多的挖掘和某种工作......我不确定这是否是最好的方法，但我似乎明白了工作...如果有什么需要改变，请告诉我！

Answer 4

哦，我明白你想要什么。

也许您可以看到上面的代码有效，但这里有一个关于异步的概念需要改进 - 等待和承诺，尤其是在 lambda 函数上。

我在上面的代码中有一些注释，也许你可以考虑改进你的 lambda：

1. 对 lambda 中的每个 promise 使用 await 并不是最好的方法，因为我们知道 lambda 时间限制。但有时我们可以在其他情况下这样做。

2. 也许您可以将 dynamodb.put 方法更改为 dynamodb.batchWriteItem ：

The BatchWriteItem operation puts or deletes multiple items in one or more tables.

1. 或者，如果您必须使用 dynamodb.put，请尝试将代码改进为：

    const writeSchoolsToDynamo = async (schools) => {
        const promises = schools.map(school => {
            dynamodb.put(school).promise()
        })

        return Promise.all(promises)
    }