将 async / await 与 DataReader 一起使用？ （没有中间缓冲区！）

Question

我的目标很简单，我想做异步 I/O 调用（使用 async await） - 但是：

• 不使用 DataFlow 依赖 (like in this answer)
• 没有中间缓冲区(not like this answer)
• Projector 函数应作为参数发送。 (not like this answer)

好的。

目前这是我的代码，它的工作是从 db 读取并将每一行投影到 Func<>

public IEnumerable < T > GetSomeData < T > (string sql, Func < IDataRecord, T > projector)
{
    using(SqlConnection _conn = new SqlConnection(@"Data Source=..."))
    {
        using(SqlCommand _cmd = new SqlCommand(sql, _conn))
        {
            _conn.Open();
            _cmd.CommandTimeout = 100000;
            using(IDataReader rdr = _cmd.ExecuteReader())
            {
                while (rdr.Read())  yield    return projector(rdr);
            }
        }
    }
}

那么，什么是投影仪？

每个类都有一个函数，它获取一个record (IDataRecord) 并创建一个实体：

例子：

public class MyClass
{
    public static MyClass MyClassFactory(IDataRecord record)
    {
        return new MyClass
        {
            Name = record["Name"].ToString(),
            Datee = DateTime.Parse(record["Datee"].ToString()),
            val = decimal.Parse(record["val"].ToString())
        };
    }
    public string Name    {   get;   set;  }
    public DateTime Datee    {  get;     set;  }
    public decimal val    {  get;    set;    }
}

所以在这里，MyClassFactory 将是 Func

那么我目前如何运行它？

 var sql = @"SELECT TOP 1000 [NAME],[datee] ,[val]  FROM [WebERP].[dbo].[t]";
 var a = GetSomeData < MyClass > (sql, MyClass.MyClassFactory).Where(...); //notice the Func

一切正常。

问题从现在开始：

在方法中添加async 会产生错误：（是的，我知道 Ienumerable 是一个 Synchronous 接口，因此存在问题）

public async Task<IEnumerable < T >> GetSomeData < T > (string sql, Func < IDataRecord, T > projector)

不能是迭代器块，因为 'System.Threading.Tasks.Task>' 不是迭代器接口类型

But this guy here did-：

可以编译。

问题

如何转换我的代码以支持完全异步的 IO 调用？

（条件：不依赖DataFlow，发送投影函数作为参数，无中间缓冲区）

Answer 1

我想做异步 I/O 调用（使用 async await） - 但是：

• 不使用 DataFlow 依赖项（如本答案）
• 没有中间缓冲区（不像这个答案）
• Projector 函数应作为参数发送。 （不喜欢这个答案）

您可能想查看 Stephen Toub 的 "Tasks, Monads, and LINQ"，了解有关如何处理异步数据序列的一些好主意。

（还）不可能将yield 和await 结合起来，但我将在这里成为一个口头表达者：引用的要求没有列出IEnumerable 和LINQ。所以，这是一个可能的解决方案，形成两个协程（几乎未经测试）。

数据生产者例程（对应于IEnumarable 和yield）：

public async Task GetSomeDataAsync<T>(
    string sql, Func<IDataRecord, T> projector, ProducerConsumerHub<T> hub)
{
    using (SqlConnection _conn = new SqlConnection(@"Data Source=..."))
    {
        using (SqlCommand _cmd = new SqlCommand(sql, _conn))
        {
            await _conn.OpenAsync();
            _cmd.CommandTimeout = 100000;
            using (var rdr = await _cmd.ExecuteReaderAsync())
            {
                while (await rdr.ReadAsync())
                    await hub.ProduceAsync(projector(rdr));
            }
        }
    }
}

数据消费者例程（对应于 foreach 或 LINQ 表达式）：

public async Task ConsumeSomeDataAsync(string sql)
{
    var hub = new ProducerConsumerHub<IDataRecord>();
    var producerTask = GetSomeDataAsync(sql, rdr => rdr, hub);

    while (true)
    {
        var nextItemTask = hub.ConsumeAsync();
        await Task.WhenAny(producerTask, nextItemTask);

        if (nextItemTask.IsCompleted)
        {
            // process the next data item
            Console.WriteLine(await nextItemTask);
        }

        if (producerTask.IsCompleted)
        {
            // process the end of sequence
            await producerTask;
            break;
        }
    }
}

协程执行助手（也可以实现成一对custom awaiters）：

public class ProducerConsumerHub<T>
{
    TaskCompletionSource<Empty> _consumer = new TaskCompletionSource<Empty>();
    TaskCompletionSource<T> _producer = new TaskCompletionSource<T>();

    // TODO: make thread-safe
    public async Task ProduceAsync(T data)
    {
        _producer.SetResult(data);
        await _consumer.Task;
        _consumer = new TaskCompletionSource<Empty>();
    }

    public async Task<T> ConsumeAsync()
    {
        var data = await _producer.Task;
        _producer = new TaskCompletionSource<T>();
        _consumer.SetResult(Empty.Value);
        return data;
    }

    struct Empty { public static readonly Empty Value = default(Empty); }
}

这只是一个想法。对于像这样的简单任务来说，这可能是一种过度杀伤，并且可以在某些方面进行改进（如线程安全、竞争条件和在不触及producerTask 的情况下处理序列的结尾）。然而，它说明了如何将异步数据检索和处理解耦。

Answer 2

这个Medium article 描述了另一种解决方案，即使用Dasync/AsyncEnumerable 库。

该库是开源的，可在NuGet 和GitHub 上使用，并提供了一个可读的语法，现在可以使用IAsyncEnumerable，直到C# 8.0 comes out and provides its own implementation and language support，形式为async ... yield return 和await foreach。

（我与图书馆没有任何联系；我认为它可能是一个非常有用的解决方案 - 我认为是！ - 与您的问题相同，在我正在开发的项目中。）