将 pandas 数据框保存到 pickle 和 csv 有什么区别？

Question

我正在学习 python 熊猫。 我看到一个教程，其中显示了两种保存熊猫数据框的方法。

1. pd.to_csv('sub.csv') 并打开pd.read_csv('sub.csv')

2. pd.to_pickle('sub.pkl') 并打开pd.read_pickle('sub.pkl')

教程说to_pickle 是将数据帧保存到磁盘。我对此感到困惑。因为当我使用to_csv 时，我确实看到文件夹中出现了一个 csv 文件，我假设它也保存到磁盘吧？

一般来说，为什么我们要使用to_pickle 保存数据帧，而不是将其保存为 csv 或 txt 或其他格式？

Answer 1

csv

• ✅人类可读
• ✅跨平台
• ⛔慢
• ⛔更多磁盘空间
• ⛔在某些情况下不保留类型

泡菜

• ✅快速保存/加载
• ✅更少的磁盘空间
• ⛔非人类可读
• ⛔仅限python

还可以看看 parquet 格式（to_parquet、read_parquet）

• ✅快速保存/加载
• ✅比 pickle 更少的磁盘空间
• ✅很多平台都支持
• ⛔非人类可读

Answer 2

Pickle 是一种存储 Pandas 数据帧的序列化方式。基本上，您正在将数据帧的确切表示写到磁盘上。这意味着列的类型和索引是相同的。如果您只是将文件保存为csv，您只是将其存储为逗号分隔的列表。根据您的数据集，当您重新加载它时，某些信息会丢失。

您可以阅读有关 python 中的 pickle 库的更多信息，here。