我应该如何（智能地）存储和存档大型 xml 文件以进行数据导入答案

【问题标题】：How should I (intelligently) store and archive large xml files for a data import我应该如何（智能地）存储和存档大型 xml 文件以进行数据导入
【发布时间】：2011-03-22 15:30:59
【问题描述】：

我们有一个处理大量 xml 数据导入的 rails 应用程序。现在我们将这些~5MB 的 xml 文档存储在 Postgres 中。考虑到我们使用每个 xml 文档一次或两次进行解析，这并不理想。我们希望有一种智能的方式来存储和归档这些文档，但又不会为了空间而使检索过程过于复杂。我们已经考虑将文档移至 Mongo（我们也在使用），但我们不是只是人为地提高了 Mongo 数据库服务器的内存需求吗？

我们处理这个问题的最佳方法是什么？

【问题讨论】：

DB2 具有出色的 xml 支持。

标签： ruby-on-rails xml postgresql mongodb

【解决方案1】：

如果您仅将它用于解析一次或两次，然后从给定链接加载文件，我只会将指向该文件的链接存储在数据库中。另一种方法是使用 XML DB，例如eXist.

【讨论】：

【解决方案2】：

您可以尝试eXist，一个 XML 数据库。但是，如果您只是将它们存档，为什么不将它们存储在目录树中呢？

【讨论】：

谢谢。不确定我们是否要运行 另一个 db 实例，想知道是否有更无状态的方式来存储/访问文件（我猜这确实是一个 db）。

【解决方案3】：

您可能想了解 DB2 的 PureXML 功能。要使用它，您可以下载免费的DB2 Express-C version here。郑重声明，IBM 也是唯一一家正式支持其 Ruby 驱动程序和 Rails 适配器的数据库提供商，因此您不会孤军奋战。

【讨论】：

【解决方案4】：

他们在哪里造成了什么伤害？无论您将它们放在哪里，它们都会占用“空间”。

如果您确信您将永远不再需要它们，那么就有必要将它们归档到更便宜的存储设备（例如磁带？） - 否则无论您做什么都会“使检索过程过于复杂”

如果您还没有这样做，可以考虑就地压缩它们

【讨论】：