用 NaN 替换 Pandas DataFrame 中的空列表值

Question

我知道以前有人问过类似的问题，但我尝试了这里列出的所有可能的解决方案，但都没有奏效。

我有一个由日期、字符串、空值和空列表值组成的数据框。它非常巨大，有 800 万行。

我想替换所有空列表值 - 所以只有包含 [] 的单元格，没有其他包含 NaN 的单元格。似乎没有任何效果。

我试过了：

df = df.apply(lambda y: np.nan if (type(y) == list and len(y) == 0) else y)

正如这个问题replace empty list with NaN in pandas dataframe 中的类似建议，但它不会改变我的数据框中的任何内容。

任何帮助将不胜感激。

Answer 1

我将假设您要屏蔽实际的空列表。

• pd.DataFrame.mask 会将具有相应 True 值的单元格转换为 np.nan
• 我想找到实际的list 值。所以我将使用df.applymap(type) 来获取每个单元格中的类型，看看它是否等于list
• 我知道[] 在布尔上下文中的计算结果为False，所以我将使用df.astype(bool) 来查看。
• 我最终会屏蔽那些既是list 类型又评估为False 的单元格

考虑数据框df

df = pd.DataFrame([
        [1, 'hello', np.nan, None, 3.14],
        ['2017-06-30', 2, 'a', 'b', []],
        [pd.to_datetime('2016-08-14'), 'x', '[]', 'z', 'w']
    ])

df

                     0      1    2     3     4
0                    1  hello  NaN  None  3.14
1           2017-06-30      2    a     b    []
2  2016-08-14 00:00:00      x   []     z     w

解决方案

df.mask(df.applymap(type).eq(list) & ~df.astype(bool))

                     0      1    2     3     4
0                    1  hello  NaN  None  3.14
1           2017-06-30      2    a     b   NaN
2  2016-08-14 00:00:00      x   []     z     w

Answer 2

假设OP想要将空列表，字符串'[]'和对象'[]'转换为na，下面是一个解决方案。

设置

#borrowed from piRSquared's answer.
df = pd.DataFrame([
        [1, 'hello', np.nan, None, 3.14],
        ['2017-06-30', 2, 'a', 'b', []],
        [pd.to_datetime('2016-08-14'), 'x', '[]', 'z', 'w']
    ])

df
Out[1062]: 
                     0      1    2     3     4
0                    1  hello  NaN  None  3.14
1           2017-06-30      2    a     b    []
2  2016-08-14 00:00:00      x   []     z     w

解决方案：

#convert all elements to string first, and then compare with '[]'. Finally use mask function to mark '[]' as na
df.mask(df.applymap(str).eq('[]'))
Out[1063]: 
                     0      1    2     3     4
0                    1  hello  NaN  None  3.14
1           2017-06-30      2    a     b   NaN
2  2016-08-14 00:00:00      x  NaN     z     w