提高 Linq 到数据表的性能

Question

我有一个包含 500K 行的数据表，格式如下；

Int | Decimal | String

我们使用的是单例模式，最终我们的DataTable 需要以List(Of AssetAllocation) 结尾，其中AssetAllocation 是：

Public Class AssetAllocation
    Property TpId() As Integer
    Property Allocation As List(Of Sector)
End Class

Public Class Sector
    Property Description() As String
    Property Weighting As Decimal
End Class

我正在使用的 linq；

Private Shared Function LoadAll() As List(Of AssetAllocation)

        Dim rtn = New List(Of AssetAllocation)

        Using dt = GetRawData()

            Dim dist = (From x In dt.AsEnumerable Select x!TP_ID).ToList().Distinct()

            rtn.AddRange(From i As Integer In dist
                         Select New AssetAllocation With {
                            .TpId = i,
                            .Allocation = (From b In dt.AsEnumerable
                                           Where b!TP_ID = i Select New Sector With {
                                               .Description = b!DESCRIPTION.ToString(),
                                               .Weighting = b!WEIGHT
                                           }).ToList()})
        End Using

        Return rtn
    End Function

执行 linq 需要很长时间，这是由于内部查询构造了扇区列表。不同的列表包含 80k

这可以改善吗？

Answer 1

如果我了解您要执行的操作，则此查询应该具有更好的性能。诀窍是使用GroupBy 以避免在每次迭代中搜索整个表以查找匹配的id。 我已经用 C# 编写了它，但我相信你可以将它翻译成 VB。

var rtn  = 
        dt.AsEnumerable()
        .GroupBy(x => x.Field<int>("TP_ID"))
        .Select(x => new AssetAllocation()
        { 
            TpId = x.Key, 
            Allocation = x.Select(y => new Sector
            {
                Description =  y.Field<string>("Description"),
                Weighting = y.Field<decimal>("WEIGHT") 
            }).ToList()
        }).ToList();