熊猫 read_pickle 缓慢

Question

我有 Python 3.4 和 Pandas 0.17。我注意到我的程序需要大约 30 秒来读取泡菜文件。

df= pd.read_csv(a, skiprows=[1])
df.to_pickle(b)
df2 = pd.read_pickle(b)  --- This line takes almost 30 seconds.

原始 csv 文件约为 185 MB（2967000 行），pickle 文件为 125 MB。

我有另一个工作正常的泡菜文件（~95 MB）（可以在

Answer 1

我找到了解决问题的方法。我的泡菜文件是由 root 用户的 cronjob 创建的。 Python程序是在虚拟环境中开发的。全球环境没有熊猫。因此，当 root 用户运行 cronjob 时，它成功创建了 pickle 文件，但该文件有问题。我修改了 cronjob 以使用我的 virtualenv 中的 python 二进制文件，这解决了这个问题。我可以看到全局 python 和 virtualenv python 创建的泡菜文件的大小差异。

我仍然不确定 root 用户是如何在没有 pandas 可用的情况下运行 python 文件的。