在 Azure 存储表中同时访问两次冲突

Question

我一直在运行一个脚本来从 Azure 存储表中检索数据（例如 this 一个作为参考）并将其从同一个存储帐户复制到另一个表中而没有问题。

现在，当我尝试访问后一个表以运行一些计算并将其从同一存储帐户复制到另一个表中时，问题就出现了。此脚本返回以下错误：

AzureConflictHttpError: Conflict
{"odata.error":{"code":"EntityAlreadyExists","message":{"lang":"en-US","value":"The specified entity already exists.\nRequestId:57d9b721-6002-012d-3d0c-b88bef000000\nTime:2019-01-29T19:55:53.5984026Z"}}}

然而，与此同时，我之前运行的代码也停止打印相同的错误，即使没有代码运行也不会重新开始，一遍又一遍地返回之前的错误。

有什么方法可以多次访问 Azure 存储中的同一个 API？

更新

添加源代码，抱歉之前没有这样做。基本上我并行运行的两个代码是相同的，但过滤器不同；在这个我正在从表 1 中获取数据（每秒有一行），我正在平均每分钟将这些数字添加到表 2 中，在另一个脚本上我正在从这个表中获取数据2 将这些行每分钟平均到另一个表 3 中的 5 分钟平均行，所以基本上有一些参数改变但代码基本相同。

会有第三个脚本，与这两个略有不同，但会以表 2 作为输入源，运行其他计算并将结果粘贴到未来表 4 中每分钟一个新的行中，所以总的来说我的想法是同时对多个表有多个条目以构建新的特定表。

import datetime
import time
from azure.storage.table import TableService, Entity

delta_time = '00:01:00'
retrieve_time = '00:10:00'
start_time = '08:02:00'
utc_diff = 3

table_service = TableService(account_name='xxx', account_key='yyy')

while True:
    now_time = datetime.datetime.now().strftime("%H:%M:%S") 
    now_date = datetime.datetime.now().strftime("%d-%m-%Y")
    hour = datetime.datetime.now().hour

    if hour >= 21:
        now_date = (datetime.datetime.now() + datetime.timedelta(days=1)).strftime("%d-%m-%Y")

    retrieve_max = (datetime.datetime.now() + datetime.timedelta(hours=utc_diff)+ datetime.timedelta(minutes=-10)).strftime("%H:%M:%S")

    start_diff = datetime.datetime.strptime(now_time, '%H:%M:%S') - datetime.datetime.strptime(start_time, '%H:%M:%S') + datetime.timedelta(hours=utc_diff)
    if start_diff.total_seconds() > 0:

        query = "PartitionKey eq '"+str(now_date)+"' and RowKey ge '"+str(retrieve_max)+"'"
        tasks=table_service.query_entities('Table1',query)
        iqf_0 = []

        for task in tasks:
            if task.Name == "IQF_0":
                iqf_0.append([task.RowKey, task.Area])  

        last_time = iqf_0[len(iqf_0)-1][0]
        time_max = datetime.datetime.strptime(last_time, '%H:%M:%S') - datetime.datetime.strptime(delta_time, '%H:%M:%S') #+ datetime.timedelta(hours=utc_diff)
        area = 0.0
        count = 0
        for i in range(len(iqf_0)-1, -1, -1):
            diff = datetime.datetime.strptime(last_time, '%H:%M:%S') - datetime.datetime.strptime(iqf_0[i][0], '%H:%M:%S')
            if diff.total_seconds() < 60:
                area += iqf_0[i][1]
                count += 1
            else: 
                break
        area_average = area/count

        output_row = Entity()
        output_row.PartitionKey = now_date
        output_row.RowKey = last_time
        output_row.Name = task.Name
        output_row.Area = area_average
        table_service.insert_entity('Table2', output_row)

        date_max = datetime.datetime.now() + datetime.timedelta(days=-1)
        date_max = date_max.strftime("%d-%m-%Y")
        query = "PartitionKey eq '"+str(date_max)+"' and RowKey ge '"+str(retrieve_max)+"'"
        tasks=table_service.query_entities('Table2',query)

        for task in tasks:
            diff = datetime.datetime.strptime(now_time, '%H:%M:%S') - datetime.datetime.strptime(task.RowKey, '%H:%M:%S') + datetime.timedelta(hours=utc_diff)
            print(i, datetime.datetime.strptime(now_time, '%H:%M:%S'), datetime.datetime.strptime(task.RowKey, '%H:%M:%S'), diff.total_seconds())
            if task.PartitionKey == date_max and diff.total_seconds()>0:
                table_service.delete_entity('Table2', task.PartitionKey, task.RowKey)

        time.sleep(60 - time.time() % 60)

Answer 1

听起来您正在运行两个代码来同时将同一 Azure 存储帐户中的数据从表 1 复制到表 2 到表 3。根据我的经验，这个问题通常是由于同时写入一条数据记录（一个表实体），或者对现有实体使用了不正确的方法，这是写入的资源竞争问题。

这是一个常见的表服务错误，您可以在here 找到它。

还有一个文档Inserting and Updating Entities解释了函数Insert Entity、Update Entity、Merge Entity、Insert Or Merge Entity和Insert Or Replace Entity之间的操作效果差异。

现在，您的代码没有为我们共享。考虑到所有可能的情况，有三种解决方案可以解决此问题。

1. 依次运行两个代码，以便在不同表之间复制数据，而不是同时运行。

2. 使用正确的函数更新现有实体的数据，可以参考上面的文档和类似的SO线程Add or replace entity in Azure Table Storage。

3. 对表实体的唯一主键使用全局锁，避免同时在两个代码中同时操作同一个表实体。