Python pandas 使用 read_hdf 和 HDFStore.select 从 HDF5 文件中读取特定值

Question

所以我用一个看起来像这样的简单数据集创建了 hdf5 文件

>>> pd.read_hdf('STORAGE2.h5', 'table')
   A  B
0  0  0
1  1  1
2  2  2
3  3  3
4  4  4

使用这个脚本

import pandas as pd
import scipy as sp
from pandas.io.pytables import Term

store = pd.HDFStore('STORAGE2.h5')

df_tl = pd.DataFrame(dict(A=list(range(5)), B=list(range(5))))

df_tl.to_hdf('STORAGE2.h5','table',append=True)

我知道我可以使用

x = pd.read_hdf('STORAGE2.h5', 'table',  columns=['A'])

或

x = store.select('table', where = 'columns=A')

如何选择列“A”中等于 3 的所有值或特定值或列“A”中带有字符串的索引，例如“foo”？在 pandas 数据框中，我会使用 df[df["A"]==3] 或 df[df["A"]=='foo']

如果我使用read_hdf() 或store.select()，效率也会有所不同吗？

Answer 1

您需要指定data_columns=（您也可以使用True 使所有列都可搜索）

（仅供参考，mode='w' 将重新启动文件，仅用于我的示例）

In [50]: df_tl.to_hdf('STORAGE2.h5','table',append=True,mode='w',data_columns=['A'])

In [51]: pd.read_hdf('STORAGE2.h5','table',where='A>2')
Out[51]: 
   A  B
3  3  3
4  4  4