从另一个 DataFrame 为每列创建唯一值的数据框

Question

我有一个包含 60 多列的数据框。其中，大约一半是分类的（非金额列）。不过，其中一些将分类数据存储为 1 和 0，因此如果数据类型为 NaN，则数据类型将为 int 或 float。

我需要创建一个新的数据框，将早期数据框中的选定列作为索引，并将唯一值作为列。

测试数据如下：

data = pd.DataFrame({'A':['A','B','C','A','B','C','D'],
                 'B':[1,0,1,0,1,0,1],
                 'C':[10,20,30,40,50,60,70],
                 'D':['Y','N','Y','N','Y','N','P']
                })

我这样做是为了从所有列中获取选定的列，并为每列获取唯一值。

cols = itemgetter(0,1,3)(data.columns)
uniq_stats = pd.DataFrame(columns=['Val'],index=cols)
for each in cols:
    uniq_stats.loc[each] = ';'.join(data[each].unique())

但是，对于那些数据是分类但存储在 1 和 0 中的列，以及那些有 Null 值的列，这将失败。

上述测试数据的预期结果：

    Val
A   A;B;C;D
B   1;0
D   Y;N;P

我应该怎么做才能得到这些？ 我想 Null 值是否也包含在唯一值列表中。

Answer 1

使用DataFrame.iloc按位置列，然后在DataFrame.agg中添加lambda函数：

df = data.iloc[:, [0,1,3]].agg(lambda x: ';'.join(x.astype(str).unique())).to_frame('Val')
print (df)
       Val
A  A;B;C;D
B      1;0
D    Y;N;P

类似的想法是只转换唯一值，所以应该更快：

df = data.iloc[:,[0,1,3]].agg(lambda x:';'.join(str(y) for y in x.unique())).to_frame('Val')
print (df)
       Val
A  A;B;C;D
B      1;0
D    Y;N;P

Answer 2

好的。我尝试了 map() 函数来做到这一点，我认为它有效。现在在唯一值列表中同时包含数字类别和 nan 值。

cols = itemgetter(0,1,3)(data.columns)
uniq_stats = pd.DataFrame(columns=['Val'],index=cols)
for each in cols:
    uniq_stats.loc[each] = ';'.join(map(str,data[each].unique()))

但是，如果有更好更快的方法，请分享。

Answer 3

我认为您可以将.stack() 与.groupby.unique() 一起使用

selected_cols = ['A','B'] 
s = data[selected_cols].stack(dropna=False).groupby(level=[1]).unique()
s.to_frame('vals')

           vals
A  [A, B, C, D]
B        [1, 0]

另一种使用融化的方法。

pd.melt(data).groupby('variable')['value'].unique()


variable
A                    [A, B, C, D]
B                          [1, 0]
C    [10, 20, 30, 40, 50, 60, 70]
D                       [Y, N, P]
Name: value, dtype: object