用户中的内存不足错误通过 grails 中的提要导入

Question

我们有一个 grails 应用程序，我们正在通过 CSV 提要导入用户。用户域对象具有巨大的字段列表（总共 85 个）。我们正在使用 Hibernate api 编写导入功能......以插入用户表。 现在，如果我们从内存中的用户域对象加载大约 2000 个用户，我们就会出现内存不足错误。

有没有办法优化设计以消除内存不足的错误。就像在需要时不加载用户域的所有列一样加载每一列。如何减少内存消耗？

Answer 1

看看 Ted Naleid 关于批处理的精彩文章：

http://naleid.com/blog/2009/10/01/batch-import-performance-with-grails-and-mysql/

文章的最后一部分（Grails Performance Tweaks）确实帮助我解决了类似的问题。添加“cleanUpGorm”函数并每 100 条记录运行一次，让我们可以处理数万条记录而不会出现内存问题。