PyArrow 表：过滤行

Question

我有一个来自 Plasma DataStore 的 RecordBatch，我可以将其读入 pyarrow.RecordBatch 或 pyarrow.Table。我现在试图在将行转换为熊猫之前过滤掉行（to_pandas）。

有没有办法在pyarrow.Table 上使用来自新数据集 API（您可以在 ParquetDataset 上使用）中的 filter 方法？这将允许我给我们一个这样的过滤器：

[[('date', '=', '2020-01-01')]]

查看源代码pyarrow.Table 和pyarrow.RecordBatch 似乎都有过滤功能，但至少RecordBatch 需要布尔掩码。

这可能吗？原因是数据集包含许多不是零拷贝的字符串（和/或类别），因此运行to_pandas 实际上会引入显着的延迟，而我只在寻找大约 20% 的数据集。

问候，
尼克拉斯

Answer 1

这现在是可能的：

import pyarrow as pa

my_table = pa.Table.from_arrays(
    [pa.array(['foo', 'bar', 'foo'], pa.string())],
    names=['col1']
)

filtered_table = my_table.filter(pa.compute.equal(my_table['col1'], 'foo'))

Answer 2

上面的问题相当于

WHERE date = '2020-01-01'

值得一提的是，PyArrow 函数的范围可用于在https://arrow.apache.org/docs/python/api/compute.html#containment-tests 上提供更广泛的选择条件

# import pyarrow.compute  as pc 
# WHERE test_table.name LIKE 'T%'
filtered_table = test_table.filter(pc.match_like(test_table["name"],"T%"))

作为过滤器返回一个表结构，您可以一个接一个地链接过滤器。

# WHERE test_table.name LIKE 'T%' AND test_table.date_updated = '2020-01-01'
filtered_table = test_table.filter(
    pc.match_like(test_table["name"],"T%")
).(
    pc.equal(test_table["date_updated"], "2020-01-01")
)