使用 python 保存定期收集的数据

Question

我定期接收数据（每 15 分钟一次）并将它们放在 python 中的一个数组（准确地说是 numpy 数组）中，大约 50 列，行数各不相同，通常在 100-200 左右。

之前我只分析了这个数据然后折腾了，但是现在我想开始保存它，以便我以后可以创建统计数据。

我曾考虑将其保存在 csv 文件中，但将大量如此大的 2D 数组保存到 csv 文件对我来说似乎不合适。

我查看了序列化选项，尤其是 pickle 和 numpy 的 .tobytes()，但在这两种情况下我都遇到了问题 - 我必须跟踪存储的数组数量。我见过人们将数字写为文件中的第一件事，但我不知道如何在打开文件的同时继续增加数字（收集​​数据的程序几乎不间断地运行)。不断地打开文件，读取数字，重写它，寻找到最后写入新数据并再次关闭文件似乎效率不高。

我觉得我错过了一些重要信息并且无法找到它。如果有人能给我看一些我看不到的东西并帮助我解决问题，我会很高兴。

Answer 1

在这种情况下，保存在 csv 文件中可能不是一个好主意，请考虑数据的可访问性和可用性。使用数据库会更好，您可以轻松更新数据并控制存储的数据量。