处理泰坦尼克号机器学习 train.csv 中的空数据点

Question

在泰坦尼克号机器学习项目的 train.csv 数据中，一些乘客的年龄数据丢失，因此 pandas 模块将其填充为“NaN”，并且在将其输入 sklearn 算法时它不接受它。我尝试了 dataset.fillna('') 但现在它变成了一个空字符串而不是一个浮点数。请发送帮助。

https://www.kaggle.com/c/titanic/data

import pandas as pd

from sklearn.cross_validation import train_test_split
dataset = pd.read_csv('train.csv')
#dataset = dataset.fillna()
def preprocess(df):
    from sklearn.preprocessing import LabelEncoder
    processed_df = df.copy()
    le = LabelEncoder()
    done = le.fit_transform(processed_df)
    return done
survival = preprocess(dataset.Survived)

data = dataset.drop('Survived',axis= 1)
data = data.drop('PassengerId',axis=1)
data = data.drop('Embarked',axis = 1)
data = data.drop('Cabin',axis = 1)
data = data.drop('Fare',axis = 1)
data = data.drop('Ticket',axis = 1)
data = data.drop('Name',axis=1)

x_train,x_test,y_train,y_test= 
train_test_split(data,survival,test_size=0.25,random_state=0)

from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn import svm
from sklearn.metrics import accuracy_score


pipeline = make_pipeline(StandardScaler(),
                         svm.SVC(kernel='rbf',C=0.1))
pipeline.fit(x_train,y_train)
print(accuracy_score(pipeline.predict(x_test),y_test))

Answer 1

fillna 用你写的替换 Nan 值，所以如果你写 ''，它将是一个空字符串。随便写：

 dataset.fillna(0)

如果需要区分0和Nan，可以尝试用-1代替，我们就是这样做的。

Answer 2

您可以使用多种方法来处理机器学习项目中的缺失值：

1. 删除所有缺失值的列
2. 删除包含缺失值的行
3. 将值设置为某个值（零、平均值、中位数等）。

对于第三个选项：

Scikit-Learn 提供了一个方便的类来处理缺失值： 估算器。以下是如何使用它。首先，您需要创建一个 Imputer 实例，指定要替换每个属性的缺失 具有该属性中位数的值：

from sklearn.preprocessing import Imputer
imputer = Imputer(strategy="median") #or mean as you want 
x_train = imputer.fit_transform(x_train)
x_test = imputer.fit_transform(x_test)

结果是一个包含转换特征的普通 Numpy 数组。如果你想把它放回 Pandas DataFrame，很简单。

注意：您也可以在管道中添加插补器，就在缩放器之前。

pipeline = make_pipeline(Imputer(strategy="median"),
                         StandardScaler(),
                         svm.SVC(kernel='rbf',C=0.1))