如何生动地将熊猫数据框保存到文件？

Question

我有一个 Python 程序，它控制一些机器并存储一些数据。数据以每秒大约 20 行（大约 10 列左右）的速度生成。该程序的整个运行时间可能长达一周，因此数据框很大。

有哪些安全且正确的方式来存储这些数据？安全的意思是，如果在第 6 天出现故障，我仍将拥有第 1→6 天的所有数据。正确的意思是不要在每个循环中将整个数据帧重新写入文件。

我当前的解决方案是 CSV 文件，我只是手动打印每一行。这种方案既安全又正确，但问题是CSV不保留数据类型，而且占用内存较多。所以我想知道是否有二进制解决方案。我喜欢羽毛格式，因为它非常快，但它不允许追加行。

Answer 1

我能想到两个简单的选择：

• 将数据块（例如，每 30 秒或任何适合您的用例）存储到单独的文件中；然后，您可以将它们后处理回单个数据帧。
• 将每一行存储到一个 SQL 数据库中。Sqlite 可能是一个好的开始，但我可能真的会选择 PostgreSQL。毕竟，这就是数据库的意义所在。