Pandas 将非数字分类虚拟列转换为单个分类列

Question

我有如下数据

test=pd.DataFrame( {'group':['v','w','x','y','z'],
                       'cat1':['a',np.nan,np.nan,'c',np.nan],
                       'cat2':[np.nan,'b','a',np.nan,np.nan],
                       'cat3':[np.nan,np.nan,np.nan,np.nan,'a'],
                      })

我想做如下

| group | cat1 | cat2 | cat3 |
|-------|------|------|------|
|   v   |  a   | NaN  | NaN  |
|   w   | NaN  |  b   | NaN  |
|   x   | NaN  |  a   | NaN  |
|   y   |  c   | NaN  | NaN  |
|   z   | NaN  | NaN  |  a   |

到

| group | category | values |
|-------|----------|--------|
|   v   |   cat1   |   a    |
|   w   |   cat2   |   b    |
|   x   |   cat2   |   a    |
|   y   |   cat1   |   c    |
|   z   |   cat3   |   a    |

我尝试在 stackoverflow 的另一个问题中使用 idxmax，但这并没有成功。

Answer 1

您可以set_index 将“组”转换为索引，然后stack 删除NaN，然后​​您就完成了：

test.set_index('group').stack()

group      
v      cat1    a
w      cat2    b
x      cat2    a
y      cat1    c
z      cat3    a
dtype: object

(test.set_index('group')
     .stack()
     .reset_index(name='values')
     .rename(columns={'level_1': 'categories'}))

  group categories values
0     v       cat1      a
1     w       cat2      b
2     x       cat2      a
3     y       cat1      c
4     z       cat3      a

注意：不对行进行排序

---

另一个选项是使用pd.wide_to_long，产生类似的输出：

(pd.wide_to_long(test, ['cat'], i=['group'], j='category')
   .dropna()
   .reset_index()
   .rename(columns={'cat': 'values'}))

  group  category values
0     v         1      a
1     y         1      c
2     w         2      b
3     x         2      a
4     z         3      a

注意：行将按“类别”排序

Answer 2

您可以使用melt，删除空值并在variable 列上排序

test.melt("group", var_name="category").dropna().sort_values("variable", ignore_index=True)


    group   variable    value
0     v     cat1         a
1     y     cat1         c
2     w     cat2         b
3     x     cat2         a
4     z     cat3         a