我使用的数据有一些空值，我想使用 knn 插补来插补空值。为了有效地估算我想规范化数据。
normalizer = Normalizer() #from sklearn.preprocessing
normalizer.fit_transform(data[num_cols]) #columns with numeric value
错误：输入包含 NaN、无穷大或对于 dtype('float64') 来说太大的值。
那么我如何规范化具有 NaN 的数据
【问题讨论】：
标签： python dataframe normalize
sklearn.preprocessing.Normalizer 不像迄今为止的其他答案那样大约为 0 均值、1 标准差归一化。 Normalizer() 是关于将行缩放到单位范数，例如到improve clustering 或原始问题归集。您可以阅读here 和here 的区别。对于缩放行，您可以尝试以下操作：
import numpy as np
A = np.array([[ 7, 4, 5, 7000],
[ 1, 900, 9, nan],
[ 5, -1000, nan, 100],
[nan, nan, 3, 1000]])
#Compute NaN-norms
L1_norm = np.nansum(np.abs(A), axis=1)
L2_norm = np.sqrt(np.nansum(A**2, axis=1))
max_norm = np.nanmax(np.abs(A), axis=1)
#Normalize rows
A_L1 = A / L1_norm[:,np.newaxis] # A.values if Dataframe
A_L2 = A / L2_norm[:,np.newaxis]
A_max = A / max_norm[:,np.newaxis]
#Check that it worked
L1_norm_after = np.nansum(np.abs(A_L1), axis=1)
L2_norm_after = np.sqrt(np.nansum(A_L2**2, axis=1))
max_norm_after = np.nanmax(np.abs(A_max), axis=1)
In[182]: L1_norm_after
Out[182]: array([1., 1., 1., 1.])
In[183]: L2_norm_after
Out[183]: array([1., 1., 1., 1.])
In[184]: max_norm_after
Out[184]: array([1., 1., 1., 1.])
如果 Google 将您带到这里（像我一样）并且您想使用估算器 API 将列标准化为 0 均值、1 标准差，您可以使用 sklearn.preprocessing.StandardScaler。它可以处理 NaN（在 sklearn 0.20.2 上测试过，我记得它不适用于某些旧版本）。
from numpy import nan, nanmean
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
A = [[ 7, 4, 5, 7000],
[ 1, 900, 9, nan],
[ 5, -1000, nan, 100],
[nan, nan, 3, 1000]]
scaler.fit(A)
In [45]: scaler.mean_
Out[45]: array([4.33333333, -32., 5.66666667, 2700.])
In [46]: scaler.transform(A)
Out[46]: array([[ 1.06904497, 0.04638641, -0.26726124, 1.40399977],
[-1.33630621, 1.20089267, 1.33630621, nan],
[ 0.26726124, -1.24727908, nan, -0.84893009],
[ nan, nan, -1.06904497, -0.55506968]])
In [54]: nanmean(scaler.transform(A), axis=0)
Out[54]: array([ 1.48029737e-16, 0.00000000e+00, -1.48029737e-16,0.00000000e+00])
【讨论】：
此方法将所有列归一化为 [0,1]，NaN 仍然是 NaN
def norm_to_zero_one(df):
return (df - df.min()) * 1.0 / (df.max() - df.min())
例如：
[In]
df = pd.DataFrame({'A': [10, 20, np.nan, 30],
'B': [1, np.nan, 10, 5]})
df = df.apply(norm_to_zero_one)
[Out]
A B
0 0.0 0.000000
1 0.5 NaN
2 NaN 1.000000
3 1.0 0.444444
df.max() 和 df.min() 返回每列的最大值和最小值。
【讨论】：
我建议不要在 sklearn 中使用 normalize，因为它不处理 NaN。您可以简单地使用下面的代码来规范化您的数据。
df['col']=(df['col']-df['col'].min())/(df['col'].max()-df['col'].min())
上述方法在规范化数据时忽略 NaN
【讨论】：