从 Pandas DataFrame 存储数据的最快方法

Question

我正在查看Fastest way to iterate through a pandas dataframe?，但我不确定它是否适用于我的情况。我想在 DataFrame 中制作样本和特征的字典

#DF_gex is a DataFrame

D_sample_Data = {}

class Sample:
    def __init__(self,D_key_value):
        self.D_key_value = D_key_value 

for i in range(DF_gex.shape[0]):
    D_key_value = {}
    sample = DF_gex.index[i]
    for j in range(DF_gex.shape[1]):
        key = DF_gex.columns[j]
        value = DF_gex.iloc[i,j]
        D_key_value[key] = value
    D_sample_Data[sample].D_key_value = D_key_value

在这种情况下，我基本上有一个名为 Sample 的类，在 Sample 类中，我为每个实例（D_key_value）存储了一个字典。现在我正在遍历每一行和每一列。

有更快的方法吗？我知道 Pandas 是基于具有特殊索引功能的 Numpy 数组。可以使用其中一种方法吗？

最后，我将有一个字典对象 D_sample_Data，我在其中输入一个样本名称并获取一个类实例。在该类实例中，将有一个对该示例键唯一的字典对象。

Answer 1

如果您只是想要一个 dictionary 的字典，其中外部字典的键是索引，内部字典的键是列，值是该索引列（或包含字典的类的字典）的对应值）。

那么你就不需要循环了，你可以简单地使用DataFrame.to_dict() 方法。示例 -

resultdict = df.T.to_dict()

或者从 Pandas 0.17.0 版开始，您也可以使用关键字参数orient='index'。示例 -

resultdict = df.to_dict(orient='index')

---

演示 -

In [73]: df
Out[73]:
   Col1  Col2  Col3
a     1     2     3
b     4     5     6
c     7     8     9

In [74]: df.T.to_dict()
Out[74]:
{'a': {'Col1': 1, 'Col2': 2, 'Col3': 3},
 'b': {'Col1': 4, 'Col2': 5, 'Col3': 6},
 'c': {'Col1': 7, 'Col2': 8, 'Col3': 9}}

---

如果您希望外部字典的值是 class Sample 类型，尽管我几乎不怀疑这很有用，那么您可以这样做 -

class Sample:
    def __init__(self,D_key_value):
        self.D_key_value = D_key_value 

resultdict = df.T.to_dict()

resultdict = {k:Sample(v) for k,v in resultdict.items()}