熊猫不会在原地填写na()

Question

我正在尝试在数据框中的 4 个特定列上用“”填充 NA，这些列是字符串/对象类型。我可以在 fillna() 时将这些列分配给一个新变量，但是当我 fillna() 就地时，基础数据不会改变。

a_n6 = a_n6[["PROV LAST", "PROV FIRST", "PROV MID", "SPEC NM"]].fillna("")
a_n6

给我：

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1542 entries, 0 to 3611
Data columns (total 4 columns):
PROV LAST     1542  non-null values
PROV FIRST    1542  non-null values
PROV MID      1542  non-null values
SPEC NM       1542  non-null values
dtypes: object(4)

但是

a_n6[["PROV LAST", "PROV FIRST", "PROV MID", "SPEC NM"]].fillna("", inplace=True)
a_n6

给我：

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1542 entries, 0 to 3611
Data columns (total 7 columns):
NPI           1103  non-null values
PIN           1542  non-null values
PROV FIRST    1541  non-null values
PROV LAST     1542  non-null values
PROV MID      1316  non-null values
SPEC NM       1541  non-null values
flag          439  non-null values
dtypes: float64(2), int64(1), object(4)

这只是一排，但仍然令人沮丧。我做错了什么？

Answer 1

您正在填写一份副本（然后您看不到）

要么：

• 不要fillna inplace（就地做某事不会提高性能）

例如

a_n6[["PROV LAST", "PROV FIRST", "PROV MID", "SPEC NM"]] = a_n6[["PROV LAST", "PROV FIRST", "PROV MID", "SPEC NM"]].fillna("")

或者最好

a_n6.fillna({'PROV LAST': '', 'PROV FIRST': '',
            'PROV MID': '', 'SPEC NM': ''}, inplace=True)

• 首先将副本分配给新变量（a_n6[[list_of_fileds]] 是多类型对象中的副本），请参见此处：http://pandas.pydata.org/pandas-docs/stable/indexing.html#returning-a-view-versus-a-copy

这里有更深入的解释 Pandas: Chained assignments

Answer 2

使用dict 作为value 的参数fillna()

正如@rhkarls 对@Jeff 的回答的评论中提到的，使用索引到列列表的.loc 将不支持inplace 操作，我也觉得这很令人沮丧。这是一种解决方法。

例子：

import pandas as pd
import numpy as np

df = pd.DataFrame({'a':[1,2,3,4,np.nan],
                   'b':[6,7,8,np.nan,np.nan],
                   'x':[11,12,13,np.nan,np.nan],
                   'y':[16,np.nan,np.nan,19,np.nan]})
print(df)
#     a    b     x     y
#0  1.0  6.0  11.0  16.0
#1  2.0  7.0  12.0   NaN
#2  3.0  8.0  13.0   NaN
#3  4.0  NaN   NaN  19.0
#4  NaN  NaN   NaN   NaN

假设我们只想为x 和y 发送fillna，不是 a 和b。

我希望使用 .loc 可以工作（就像在作业中一样），但它没有，如前所述：

# doesn't work
df.loc[:,['x','y']].fillna(0, inplace=True)
print(df) # nothing changed

但是，documentation 表示 fillna() 的 value 参数可以是：

或者是一个 dict/Series/DataFrame 值，指定用于每个索引（对于 Series）或列（对于 DataFrame）的值。 （不在 dict/Series/DataFrame 中的值不会被填充）。

事实证明，使用值的字典会起作用：

# works
df.fillna({'x':0, 'y':0}, inplace=True)
print(df)
#     a    b     x     y
#0  1.0  6.0  11.0  16.0
#1  2.0  7.0  12.0   0.0
#2  3.0  8.0  13.0   0.0
#3  4.0  NaN   0.0  19.0
#4  NaN  NaN   0.0   0.0

另外，如果您的子集中有很多列，您可以使用字典推导式，如下所示：

df.fillna({x:0 for x in ['x','y']}, inplace=True) # also works

Answer 3

一种解决方法是将 fillna 结果保存在另一个变量中，然后像这样将其分配回去：

na_values_filled = X.fillna(0)
X = na_values_filled

我的确切示例（否则我无法开始工作）是我只想填写每个组的第一行的情况。像这样：

groups = one_train.groupby("installation_id")
first_indexes_filled = one_train.loc[groups.apply(pd.DataFrame.first_valid_index), 'clicks'].fillna(0)
one_train.loc[groups.apply(pd.DataFrame.first_valid_index), 'clicks'] =  first_indexes_filled

我的情况可能过于复杂，但我认为一般的“保存结果，然后分配回”方法应该可以作为失败的 inplace=True 的解决方法

Answer 4

最佳答案给了我SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame，所以这就是我最终得到的。它可以工作并且不会发出任何警告：

fill_dict = {x: 0 for x in columns_of_interest}
df.loc[:, columns_of_interest].fillna(fill_dict, inplace=True)

Answer 5

“使用 dict 作为值参数”答案对我不起作用，但一个足够简单的解决方法是使用：

for n in ["PROV LAST", "PROV FIRST", "PROV MID", "SPEC NM"]:    
    a_n6[n].fillna("", inplace=True)
a_n6