在 Using 语句中从 DataLayer 返回 DataReader

Question

我们有很多数据层代码遵循这个非常普遍的模式：

public DataTable GetSomeData(string filter)
{
    string sql = "SELECT * FROM [SomeTable] WHERE SomeColumn= @Filter";

    DataTable result = new DataTable();
    using (SqlConnection cn = new SqlConnection(GetConnectionString()))
    using (SqlCommand cmd = new SqlCommand(sql, cn))
    {
        cmd.Parameters.Add("@Filter", SqlDbType.NVarChar, 255).Value = filter;

        result.Load(cmd.ExecuteReader());
    }
    return result;
}

我认为我们可以做得更好。我现在的主要抱怨是它强制将所有记录加载到内存中，即使对于大型集合也是如此。我希望能够利用 DataReader 一次只在 ram 中保留一条记录的能力，但是如果我直接返回 DataReader，则在离开 using 块时连接将被切断。

如何改进这一点以允许一次返回一行？

Answer 1

再一次，为这个问题构思我的想法的行为揭示了答案。具体来说，我写的最后一句“一次一行”。我意识到我并不真正关心它是一个数据读取器，只要我可以逐行枚举它。这导致我这样做：

public IEnumerable<IDataRecord> GetSomeData(string filter)
{
    string sql = "SELECT * FROM [SomeTable] WHERE SomeColumn= @Filter";

    using (SqlConnection cn = new SqlConnection(GetConnectionString()))
    using (SqlCommand cmd = new SqlCommand(sql, cn))
    {
        cmd.Parameters.Add("@Filter", SqlDbType.NVarChar, 255).Value = filter;
        cn.Open();

        using (IDataReader rdr = cmd.ExecuteReader())
        {
            while (rdr.Read())
            {
                yield return (IDataRecord)rdr;
            }
        }
    }
}

一旦我们迁移到 3.5 并且可以开始在结果上使用其他 linq 运算符，这将工作得更好，我喜欢它，因为它让我们开始思考每层之间的“管道”，用于返回的查询很多结果。

不利的一面是，对于持有多个结果集的读者来说会很尴尬，但这种情况非常罕见。

更新
自从我在 2009 年第一次开始使用这种模式以来，我了解到最好也将其设为通用的 IEnumerable<T> 返回类型并添加一个 Func<IDataRecord, T> 参数以将 DataReader 状态转换为循环中的业务对象。否则，延迟迭代可能会出现问题，以至于您每次都看到查询中的最后一个对象。

Answer 2

你想要的是一个受支持的模式，你必须使用

cmd.ExecuteReader(CommandBehavior.CloseConnection);

并从您的 GetSomeData() 方法中删除两个 using()。异常安全必须由调用者提供，以保证读者关闭。

Answer 3

在这种情况下，我发现 lambdas 非常有用。考虑到这一点，而不是数据层给我们数据，让我们给数据层我们的数据处理方法：

public void GetSomeData(string filter, Action<IDataReader> processor)
{
    ...

    using (IDataReader reader = cmd.ExecuteReader())
    {
        processor(reader);
    }
}

然后业务层会调用它：

GetSomeData("my filter", (IDataReader reader) => 
    {
        while (reader.Read())
        {
            ...
        }
    });

Answer 4

关键是yield关键字。

与 Joel 的原始答案类似，更加充实：

public IEnumerable<S> Get<S>(string query, Action<IDbCommand> parameterizer, 
                             Func<IDataRecord, S> selector)
{
    using (var conn = new T()) //your connection object
    {
        using (var cmd = conn.CreateCommand())
        {
            if (parameterizer != null)
                parameterizer(cmd);
            cmd.CommandText = query;
            cmd.Connection.ConnectionString = _connectionString;
            cmd.Connection.Open();
            using (var r = cmd.ExecuteReader())
                while (r.Read())
                    yield return selector(r);
        }
    }
}

我有这个扩展方法：

public static void Parameterize(this IDbCommand command, string name, object value)
{
    var parameter = command.CreateParameter();
    parameter.ParameterName = name;
    parameter.Value = value;
    command.Parameters.Add(parameter);
}

所以我打电话：

foreach(var user in Get(query, cmd => cmd.Parameterize("saved", 1), userSelector))
{

}

这是完全通用的，适合任何符合 ado.net 接口的模型。 The connection and reader objects are disposed after the collection is enumerated. 无论如何填写DataTable 使用IDataAdapter 的Fill 方法can be faster than DataTable.Load

Answer 5

我从来都不是让数据层返回通用数据对象的忠实粉丝，因为这几乎消除了将代码分离到自己的层中的全部意义（如果接口不是，您如何切换数据层？ t 定义？）。

我认为你最好的办法是让所有这样的函数返回你自己创建的自定义对象的列表，然后在你的数据中，你将你的过程/查询调用到数据读取器中，并遍历创建列表。

这将更容易处理（尽管最初是创建自定义类），更容易处理您的连接（因为您不会返回任何与之关联的对象），并且应该更快。唯一的缺点是所有内容都会像您提到的那样被加载到内存中，但我认为这不会引起关注（如果是，我认为需要调整查询）。