长 API 调用 - 异步调用答案？

Question

我正在调用一个很慢的外部 API。目前，如果我有一段时间没有调用 API 来获取一些订单，则可以将调用分解为页面（分页）。

因此，获取订单可能是多次调用而不是 1 次调用。有时每次通话可能需要 10 秒左右，因此总共可能需要大约一分钟，这太长了。

        GetOrdersCall getOrders = new GetOrdersCall();
        getOrders.DetailLevelList.Add(DetailLevelCodeType.ReturnSummary);
        getOrders.CreateTimeFrom = lastOrderDate;
        getOrders.CreateTimeTo = DateTime.Now;

        PaginationType paging = new PaginationType();
        paging.EntriesPerPage = 20;
        paging.PageNumber = 1;

        getOrders.Pagination = paging;

        getOrders.Execute();

        var response = getOrders.ApiResponse;
        OrderTypeCollection orders = new OrderTypeCollection();

        while (response != null && response.OrderArray.Count > 0)
        {
            eBayConverter.ConvertOrders(response.OrderArray, 1);

            if (response.HasMoreOrders)
            {
                getOrders.Pagination.PageNumber++;
                getOrders.Execute();

                response = getOrders.ApiResponse;
                orders.AddRange(response.OrderArray);
            }
        }

这是我上面代码的摘要... getOrders.Execute() 是 api 触发的时间。

在第一个“getOrders.Execute()”之后有一个分页结果，它告诉我有多少页数据。我的想法是我应该能够为每个页面启动异步调用并填充 OrderTypeCollection。当所有调用都完成并且集合完全加载后，我将提交到数据库。

我以前从未通过 c# 进行过异步调用，我可以遵循 Async await，但我认为我的场景超出了我目前所做的阅读范围？

问题：

1. 我想我可以将其设置为异步触发多个调用，但我不确定如何检查所有任务何时完成，即准备好提交到 db。
2. 我在某处读到过，我希望避免将 API 调用和 db 写入结合起来以避免锁定 SQL Server - 这是正确的吗？

如果有人能指出我正确的方向 - 将不胜感激。

Answer 1

我想我可以将其设置为异步触发多个调用 但我不确定如何检查所有任务何时完成，即 准备提交到 db。

是的，你可以分手

问题是ebay 没有async Task Execute 方法，因此您只能使用阻塞线程调用并且没有IO 优化 异步等待模式。如果有，您可以利用 async 感知的 TPL 数据流 管道（全家人都可以玩），尽管我建议使用普通的 TPL 解决方案...

但是，一切都没有丢失，只需退回到 Parallel.For 和 ConcurrentBag<OrderType>

示例

var concurrentBag = new ConcurrentBag<OrderType>();


// make first call
// add results to concurrentBag
// pass the pageCount to the for
int pagesize = ...;

Parallel.For(1, pagesize,
   page =>
      {
         // Set up
         // add page
         // make Call 

         foreach(var order in getOrders.ApiResponse)
            concurrentBag.Add(order);
      });

// all orders have been downloaded
// save to db

注意：你可以配置MaxDegreeOfParallelism，也许设置为50，虽然你给它多少并不重要，任务计划程序不是会积极地给你线程，最初可能有 10 个左右，然后慢慢增长。

另一种方法是创建自己的任务计划程序，或者使用老式的Thread 类启动自己的线程

---

我在某处读到过我想避免将 API 调用与 db 写入以避免锁定 SQL 服务器 - 这是正确的吗？

• 如果您的意思是在慢速 DB 插入中锁定，请使用 Sql Bulk Insert 和更新工具。
• 如果您的意思是像 DB 死锁错误消息中那样锁定，那么这是完全不同的事情，值得自己提出问题

---

其他资源

For(Int32, Int32, ParallelOptions, Action)

执行一个 for（在 Visual Basic 中为 For）循环，其中可以运行迭代 可以配置并行和循环选项。

ParallelOptions Class

存储配置并行方法操作的选项 类。

MaxDegreeOfParallelism

获取或设置由此启用的最大并发任务数 ParallelOptions 实例。

ConcurrentBag Class

表示线程安全、无序的对象集合。

Answer 2

是的ConcurrentBag<T> Class 可用于解决您的一个问题的目的，即：“我想我可以将其设置为异步触发多个调用，但我不确定如何检查所有任务的时间已完成，即准备好提交到 db。"

这个通用类可用于运行您的每个任务并等待您的所有任务完成以进行进一步处理。它是线程安全的，对并行处理很有用。