Cosmos DB Mongo API 如何管理“请求率很大”的情况

Question

我有以下代码..

async function bulkInsert(db, collectionName, documents) {
  try {
    const cosmosResults = await db.collection(collectionName).insertMany(documents);
    console.log(cosmosResults);
    return cosmosResults
  } catch (e) {
    console.log(e)
  }

}

如果我使用大量文档运行它，我会得到（并不意外）

{ MongoError: Message: {"Errors":["Request rate is large"]}
  ActivityId: b3c83c38-0000-0000-0000-000000000000, 
  Request URI: /apps/DocDbApp/services/DocDbServer24/partitions/a4cb4964-38c8-11e6-8106-8cdcd42c33be/replicas/1p/, 
  RequestStats: , SDK: Microsoft.Azure.Documents.Common/1.19.102.5
    at G:\Node-8\NodeExample\node_modules\oracle-movie-ticket-demo\node_modules\mongodb-core\lib\connection\pool.js:596:61
at authenticateStragglers (G:\Node-8\NodeExample\node_modules\oracle-movie-ticket-demo\node_modules\mongodb-core\lib\connection\pool.js:514:16)
at Connection.messageHandler (G:\Node-8\NodeExample\node_modules\oracle-movie-ticket-demo\node_modules\mongodb-core\lib\connection\pool.js:550:5)
at emitMessageHandler (G:\Node-8\NodeExample\node_modules\oracle-movie-ticket-demo\node_modules\mongodb-core\lib\connection\connection.js:309:10)
at TLSSocket.<anonymous> (G:\Node-8\NodeExample\node_modules\oracle-movie-ticket-demo\node_modules\mongodb-core\lib\connection\connection.js:452:17)
at emitOne (events.js:116:13)
at TLSSocket.emit (events.js:211:7)
at addChunk (_stream_readable.js:263:12)
at readableAddChunk (_stream_readable.js:250:11)
at TLSSocket.Readable.push (_stream_readable.js:208:10)
name: 'MongoError',
message: 'Message: {"Errors":["Request rate is large"]}\r\nActivityId: b3c83c38-0000-0000-0000-000000000000, 
Request URI: /apps/DocDbApp/services/DocDbServer24/partitions/a4cb4964-38c8-11e6-8106-8cdcd42c33be/replicas/1p/, RequestStats: , SDK: Microsoft.Azure.Documents.Common/1.19.102.5',
_t: 'OKMongoResponse',
ok: 0,
code: 16500,
errmsg: 'Message: {"Errors":["Request rate is large"]}\r\nActivityId:      b3c83c38-0000-0000-0000-000000000000, 
Request URI: /apps/DocDbApp/services/DocDbServer24/partitions/a4cb4964-38c8-11e6-8106-8cdcd42c33be/replicas/1p/, 
RequestStats: , 
SDK: Microsoft.Azure.Documents.Common/1.19.102.5',
 '$err': 'Message: {"Errors":["Request rate is large"]}\r\nActivityId: b3c83c38-0000-0000-0000-000000000000, 
 Request   URI: /apps/DocDbApp/services/DocDbServer24/partitions/a4cb4964-38c8-11e6-8106-8cdcd42c33be/replicas/1p/, RequestStats: , 
SDK: Microsoft.Azure.Documents.Common/1.19.102.5' }

我正在处理的 740 条记录中的一些（大约 165 条）似乎已加载。他们似乎都被分配了“_id”属性。

有谁知道如何处理这个问题（或者至少知道哪些记录被插入，哪些不是进程）...

Answer 1

使用 cosmosdb 的请求需要消耗 RU。很明显，您的插入请求超出了 RU 吞吐量，出现错误代码 16500。

超过规定的请求单位的应用程序 收集将被限制，直到速率低于保留 等级。当一个节流发生时，后端将抢先结束 带有 16500 错误代码的请求 - 请求过多。默认情况下，API for MongoDB 在返回之前会自动重试 10 次 Too Many Requests 错误代码。

您可以从official document 找到更多说明。

您可以按照以下方法尝试解决问题：

1. 批量导入数据以降低吞吐量。

2. 在您的应用程序中添加您自己的重试逻辑。

3. 增加集合的保留吞吐量。当然，这会增加您的成本。

你可以参考这个article。

希望对你有帮助。

---

更新答案：

您的文档似乎不是唯一可识别的。所以我认为 Cosmos DB 自动生成的“_id”属性无法确定哪些文档已插入，哪些文档尚未插入。

我建议你增加吞吐量设置，清空数据库，然后批量导入数据。

考虑到成本，请参考这个document设置合适的RU。

或者您可以通过Cosmos DB Emulator.在本地测试批量导入操作