创建大量对象时内存不足C#

Question

我在我的应用程序中处理 100 万条记录，这些记录是从 MySQL 数据库中检索的。为此，我使用 Linq 获取记录并使用 .Skip() 和 .Take() 一次处理 250 条记录。对于每条检索到的记录，我需要创建 0 到 4 个项目，然后将它们添加到数据库中。因此，必须创建的平均项目总数约为 200 万。

IQueryable<Object> objectCollection = dataContext.Repository<Object>();
int amountToSkip = 0;
IList<Object> objects = objectCollection.Skip(amountToSkip).Take(250).ToList();
while (objects.Count != 0)
        {
            using (dataContext = new LinqToSqlContext(new DataContext()))
            {
                foreach (Object objectRecord in objects)
                {
                    // Create 0 - 4 Random Items
                    for (int i = 0; i < Random.Next(0, 4); i++)
                    {
                        Item item = new Item();
                        item.Id = Guid.NewGuid();
                        item.Object = objectRecord.Id;
                        item.Created = DateTime.Now;
                        item.Changed = DateTime.Now;
                        dataContext.InsertOnSubmit(item);
                    }
                }
                dataContext.SubmitChanges();
            }
            amountToSkip += 250;
            objects = objectCollection.Skip(amountToSkip).Take(250).ToList();
        }

现在在创建项目时出现问题。运行应用程序时（甚至不使用 dataContext），内存会持续增加。就好像这些物品永远不会被处理掉。有没有人注意到我做错了什么？

提前致谢！

Answer 1

好的，我刚刚与我的一位同事讨论了这种情况，我们得出了以下可行的解决方案！

int amountToSkip = 0;
var finished = false;
while (!finished)
{
      using (var dataContext = new LinqToSqlContext(new DataContext()))
      {
           var objects = dataContext.Repository<Object>().Skip(amountToSkip).Take(250).ToList();
           if (objects.Count == 0)
                finished = true;
           else
           {
                foreach (Object object in objects)
                {
                    // Create 0 - 4 Random Items
                    for (int i = 0; i < Random.Next(0, 4); i++)
                    {
                        Item item = new Item();
                        item.Id = Guid.NewGuid();
                        item.Object = object.Id;
                        item.Created = DateTime.Now;
                        item.Changed = DateTime.Now;
                        dataContext.InsertOnSubmit(item);
                     }
                 }
                 dataContext.SubmitChanges();
            }
            // Cumulate amountToSkip with processAmount so we don't go over the same Items again
            amountToSkip += processAmount;
        }
}

通过这个实现，我们每次都处理 Skip() 和 Take() 缓存，因此不会泄漏内存！

Answer 2

啊，好老的InsertOnSubmit 内存泄漏。在尝试使用 LINQ to SQL 从大型 CVS 文件中加载数据时，我曾多次遇到过这种情况并撞到了墙角。问题是即使在调用SubmitChanges 之后，DataContext 仍会继续跟踪使用InsertOnSubmit 添加的所有对象。解决方法是SubmitChanges在一定数量的对象之后，再为下一批创建一个新的DataContext。当旧的DataContext 被垃圾回收时，所有被它跟踪的插入对象（并且您不再需要）也会被回收。

“但是等等！”你说，“创建和处理许多 DataContext 将产生巨大的开销！”。好吧，如果您创建单个数据库连接并将其传递给每个 DataContext 构造函数，则不会。这样，始终保持与数据库的单个连接，DataContext 对象是一个轻量级对象，代表一个小型工作单元，完成后应丢弃（在您的示例中，提交一定数量的记录） .

Answer 3

我最好的猜测是 IQueryable 会导致内存泄漏。 也许 MySQL 没有适当的 Take/Skip 方法实现，它正在内存中进行分页？发生了奇怪的事情，但你的循环看起来很好。所有引用都应该超出范围并被垃圾收集..

Answer 4

是的。

所以在循环结束时，您将尝试在列表中包含 200 万个项目，不是吗？在我看来，答案是微不足道的：存储更少的项目或获得更多的内存。

-- 编辑：

我可能读错了，我可能需要编译和测试它，但我现在不能这样做。我将把它留在这里，但我可能是错的，我没有仔细审查它以做出明确的决定，但答案可能证明有用，也可能没有用。 （从downvote来看，我猜不是：P）

Answer 5

您是否尝试过像这样在循环外声明项目：

IQueryable<Object> objectCollection = dataContext.Repository<Object>();
int amountToSkip = 0;
IList<Object> objects = objectCollection.Skip(amountToSkip).Take(250).ToList();
Item item = null;
while (objects.Count != 0)
        {
            using (dataContext = new LinqToSqlContext(new DataContext()))
            {
                foreach (Object objectRecord in objects)
                {
                    // Create 0 - 4 Random Items
                    for (int i = 0; i < Random.Next(0, 4); i++)
                    {
                        item = new Item();
                        item.Id = Guid.NewGuid();
                        item.Object = objectRecord.Id;
                        item.Created = DateTime.Now;
                        item.Changed = DateTime.Now;
                        dataContext.InsertOnSubmit(item);
                    }
                }
                dataContext.SubmitChanges();
            }
            amountToSkip += 250;
            objects = objectCollection.Skip(amountToSkip).Take(250).ToList();
        }