存储大数据python

Question

我是 Python 新手。最近，我有一个项目在 xml 文件中处理大量健康数据。 这是一个例子：

在我的数据中，大约有 100 个，每个都有不同的 id、origin、type 和 text。我想将所有这些都存储在数据中，以便我可以训练这个数据集，我脑海中的第一个想法是使用 2D 数组（一个存储 id 和 origin，另一个存储文本）。但是，我发现功能太多，我想知道每个文档属于哪些功能。

谁能推荐一个最好的方法。

Answer 1

为了可扩展性、简单性和可维护性，您应该规范化这些数据，构建数据库模式并将这些东西移动到数据库中（sqlite、postgres、mysql 等）

这会将复杂的数据逻辑移出 python。这是Model-view-controller的典型做法。

创建一个python字典并遍历它既快又脏。如果您想从数据中获得实际意义，这将很快成为巨大的技术时间消耗。