pyarrow 和 pandas 的集成

Question

我打算：

• 加入
• 分组
• 过滤器

使用 pyarrow 的数据（新手）。这个想法是为了获得比 pandas 更好的性能和内存利用率（apache 箭头压缩）。

似乎 pyarrow 不支持按键连接两个表/数据集，所以我不得不回退到 pandas。

我并不真正了解 pyarrow pandas 集成的工作原理。熊猫真的会使用 apache 箭头数据结构吗？我可以只使用这些类型。

• 字符串
• 长
• 十进制

我感觉 pandas 会从 apache 箭头和双倍大小复制所有数据（根据文档）

Answer 1

pyarrow 本身并不向最终用户提供这些功能，而是作为一个库，可供 DataFrame 库开发人员用作基础。因此，意图不是让您作为 DataFrame 用户有一天直接使用 pyarrow，而是像 pandas 这样的库使用 Arrow 作为后端。

pandas 1.2 中引入的新 ArrowStringType（尚未真正起作用）或 fletcher 库已经发生这种情况，它提供了使用 pyarrow 作为后端来选择您的 @ 列的可能性987654328@通过pandas的ExtensionArray接口。

免责声明：我是fletcher的主要作者。