如何通过在单个单元格中删除 NaN 来调整数据框的大小？

Question

我有一个看起来像这样的 df：

column1   column2    column3   column4
1            2       nan          4
1            2        3           nan
1            2       nan          nan
1            2       nan          nan

如何重塑数据框，为每个带有 NaN 的单元格删除它，如果该列具有相同的值，则只采用它的一个实例？

新的 df 应该是这样的；

column1   column2    column3   column4
1            2        3          4

我有大约 500 列这样的参差不齐的数据。

编辑：

我使用这行代码将带有参差不齐的数据的值移动到一行。

df = df.apply(lambda x: pd.Series(x.dropna().values))

新的 df 看起来像这样：

column1   column2    column3   column4
1            2        3            4
1            2       nan          nan
1            2       nan          nan
1            2       nan          nan

然后我删除重复项：

df = df.drop_duplicates()

df 现在看起来像这样：

 column1   column2    column3   column4
    1            2        3            4
    1            2       nan          nan

不知道为什么 Nan 在这一点之后没有下降，但行正在下降：

pivoted_df = pivoted_df.dropna()

Answer 1

您可以通过ffill 转发填充缺失值，删除NaNs 行并删除重复项：

df = df.ffill().dropna().drop_duplicates()
print (df)
   column1  column2  column3  column4
1        1        2      3.0      4.0

或者如果需要某些列指定的每个组的第一个非缺失值：

df = df.groupby(['column1','column2'], as_index=False).first()
print (df)

   column1  column2  column3  column4
0        1        2      3.0      4.0