使用 .net 导入/导出大型数据集

Question

有使用 .net 导入和导出大型集合（在本例中为数据库）的经验。

使用数据库导出本身是不可能的，因为支持多个数据库后端，我需要它来进行一种独立于平台的导出/导入。

这里的问题是 XmlSerializer 或 DataContractSerializer 类一次读取所有数据以进行反序列化 - 但由于数据集可能变得非常大，这是不可行的。 是否有任何基于现有序列化基础架构但支持迭代读取文件的解决方案？

谢谢

Answer 1

看看FileHelpers。我过去使用过该库，它在几秒钟内读取并验证了（通过附加到我的导入类成员的属性）大约 25k 条记录。