存储 1000 个数据框对象的 Pandas

Question

我正在从事一个大型项目，该项目进行 SPC 分析并拥有 1000 个不同的不相关数据框对象。有谁知道用于在内存中存储对象的模块？我可以使用 python 字典，但想要更精细和更实用的机制，如锁定、线程安全、谁拥有它和等待列表等？我正在考虑创建一些类似于我当地公共图书馆系统的东西。它向一位所有者签入和签出书籍的方式......等等。

Answer 1

HDF5-pytables 是一个相当不错的 pandas 存储后端。

Pytables 可以扩展为像文件系统一样进行管理但如果您需要任何类型的多访问，则必须小心 （如果您确实需要使用提供这些功能的传统数据库）。

Answer 2

带有 redis-py 的 Redis 是一种解决方案。 Redis 非常快，并且有很好的 Python 绑定。如上所述，Pytables 也是一个不错的选择。 PyTables 是 HDF5，而且速度非常快。