Azure 存储表 - 插入一批行并检查它们是否存在

Question

我为某些服务发送查询并返回结果。我想知道我过去是否已经得到相同的“答案”。所以，我打算使用 Azure Table 作为缓存机制。

我做这个小 POC：

TableBatchOperation batchOperation = new TableBatchOperation();
CachedUrl customer1 = new CachedUrl(Guid.Empty, "test1");
CachedUrl customer2 = new CachedUrl(Guid.Empty, "test2");
batchOperation.Insert(customer1);
batchOperation.Insert(customer2);
table.ExecuteBatch(batchOperation);

当我第一次运行此代码时，它运行良好。最后，我在表中有 2 行。

问题出在第二次运行。当我执行这段代码时：

TableBatchOperation batchOperation = new TableBatchOperation();
CachedUrl customer1 = new CachedUrl(Guid.Empty, "test1");
CachedUrl customer2 = new CachedUrl(Guid.Empty, "test2");
CachedUrl customer3 = new CachedUrl(Guid.Empty, "test3");
batchOperation.Insert(customer1);
batchOperation.Insert(customer2);
batchOperation.Insert(customer3);
table.ExecuteBatch(batchOperation);

（注意添加customer3）

我期望得到的是一条消息：

• customer1 - 存在
• customer2 - 存在
• customer3 - 添加

我实际得到的是这个异常（在ExecuteBatch() 方法上）：

请求信息RequestID:5116ee8a-0002-0024-7ac1-415787000000 请求日期：2016 年 11 月 18 日星期五 17:33:08 GMT 状态消息：0： 指定的实体已经存在。错误代码：EntityAlreadyExists

服务器发现 #1 实体存在，因此，跳过整个任务。

我怎样才能得到预期的答案？

天真的解决方案是尝试将所有 N 项逐个添加。但是这个解决方案是最慢的一个（N 个 HTTP 请求而不是 1 个请求）。

Answer 1

这是预期的行为。一旦该批次中的任何实体失败，整个批次就会失败。

您可以使用InsertOrReplace 方法而不是Insert。如果实体存在，这将更新实体，否则插入实体。

来自documentation：

将 TableOperation 添加到插入 如果实体不存在，则将指定实体放入表中；如果 实体确实存在，然后它的内容被替换为提供的 实体。

Answer 2

Azure 表存储批处理操作是原子的，因此预计会在第一次失败的操作时返回。一个批处理操作可能包含 1000 次操作，表服务在检测到第一次失败后继续执行所有操作的意义不大。

存储异常返回批处理中失败操作的实际索引以及与之相关的错误。

在下面的示例中，失败操作的索引为 0，错误为 EntityAlreadyExists：

0：指定的实体已经存在。错误代码：EntityAlreadyExists

您可以编写一个重试逻辑来捕获 StorageException，解析错误，如果错误是 EntityAlreadyExists，则从批处理中删除具有该索引的操作并重新提交批处理操作。

请参阅我在 Nuget 中实现的 azure Storage Exception 解析器，它为您从 StorageException 对象中提取失败操作的索引和其他有用信息（如 HttpStatusCode）：https://www.nuget.org/packages/AzureStorageExceptionParser/

为了避免在每个失败的操作上多次来回调用 azure，您可以探索以下替代解决方案：

每次将实体插入表时，您还会插入第二个具有相同分区键的实体，该分区键仅包含行键的一个属性。让我们将此第二个实体称为 RowKeyTracker 实体。它将与原始实体具有相同的分区键，以便您可以进行批处理操作。它将有一个唯一的行键，您将知道它以便对其进行查询，并且它将具有一个属性，即该分区的附加行键。如果 RowKeyTracker 实体已经存在，您只需在每次插入新实体时将新行键附加到该分区键的行键属性，反之亦然，当您删除实体时，您也可以继续从 RowKeyTracker 中删除该行键实体。

因此，您可以使用此 Row Key 跟踪器实体来确定该分区的 Row 键是否已插入，方法是先查询它。

您可以将此方法与第一种方法（重试）结合使用，以获得更强大的解决方案