使用循环替换 DataFrame 列的多个值（异常值处理）

Question

我正在尝试替换“LotFrontage”列的异常值 如果值小于最小值，则将我的 DataFrame 的第 5 个百分位 如果大于最大值，则上限为 95%。我想做这个 仅使用 for 循环。我试图写这个简单的函数，但这是 不工作。这几天我一直在为此苦苦挣扎，我 可以使用 numpy 解决这个问题，但只想使用 for 循环来解决这个问题。 任何帮助表示赞赏

def outlier(x):
    # taking 5,25,75 percentile of column
    q5= np.percentile(x,5)
    q25=np.percentile(x,25)
    q75=np.percentile(x,75)
    dt=np.percentile(x,95)
    #calculationg IQR range
    IQR=Q3-Q1
    #Calculating minimum threshold
    min=q25-(1.5*IQR)
    max=q75+(1.5*IQR)
    #Calculating maximum threshold
    for i in x:
        if x[i] > max:
            x[i].replace(x[i],dt)
        elif x[i] < min:
            x[i].replace(x[i],q5)
        else:
            x[i]
    print(q5,q25,q75,dt,min,max)

    return

将上述函数应用于DataFrame的一列

outlier(Sdata["LotFrontage"])

如果您需要任何其他信息，请告诉我

数据： 当我在我的专栏上应用此功能时出现以下错误：

ValueError：Series 的真值不明确。使用a.empty， a.bool()、a.item()、a.any() 或 a.all()。

Answer 1

而不是 numpy 或 for 循环，您可以使用 pandas 的简单赋值来执行此替换。在outlier 函数中作为x 您的pandas.Series，您可以将整个最终的for 循环替换为：

x[x < vmin] = q5
x[x > vmax] = dt

你就完成了。
请注意，在这里我将您的 min 重命名为 vmin 并将您的 max 重命名为 vmax。 min 和 max 是 Python 内置函数，像 Python 内置函数一样命名变量可能会造成混淆。

但是，既然你问了一个for 循环，如果你真的想使用一个循环，它应该是这样的：

for i in range(len(x)):
    if x[i] > vmax:
        x[i] = dt
    elif x[i] < vmin:
        x[i] = q5

因为i 需要是索引。

最后，记得return x。您的调用应如下所示：

Sdata["LotFrontage"] = outlier(Sdata["LotFrontage"])

Answer 2

当您运行Sdata["LotFrontage"].apply(outlier) 时，它实际上会使用pd.Series Sdata["LotFrontage"] 中的每个值调用该函数。你想运行outlier(Sdata["LotFrontage"])。

编辑： 您还需要将for i in x: 替换为for i,value in enumerate(x):。

编辑：这是一个可能的解决方案：

def outlier(x):
    # taking 5,25,75 percentile of column
    q5= np.percentile(x,5)
    q25=np.percentile(x,25)
    q75=np.percentile(x,75)
    dt=np.percentile(x,95)
    #calculationg IQR range
    IQR=q75-q25
    #Calculating minimum threshold
    lower_bound=q25-(1.5*IQR)
    upper_bound=q75+(1.5*IQR)
    #Calculating maximum threshold
    print(q5,q25,q75,dt,min,max)
    return x.apply(lambda y: dt if y > upper_bound else y).apply(lambda y: q5 if y < lower_bound else y)

outlier(Sdata["LotFrontage"])