网格搜索与模型融合

任务:

1)进一步通过网格搜索法对3个模型进行调优(用5000条数据,调参时采用五折交叉验证的方式),并进行模型评估,展示代码的运行结果。(可以尝试使用其他模型)
2)模型融合,模型融合方式任意,并结合之前的任务给出你的最优结果。例如Stacking融合,用你目前评分最高的模型作为基准模型,和其他模型进行stacking融合,得到最终模型及评分结果。
下面具体介绍网格搜索、交叉验证、模型融合。

网络搜索

参考资料:
https://blog.csdn.net/hdu_lazy_man/article/details/79590598

在机器学习中,我们说的调参里的参数指的是超参数,即对于模型的整体规划具有重要意义的指标:例如支持向量机中的乘法因子C(用于权衡经验风险和模型复杂度),当支持向量机核函数是为径向基RBF核函数,对应的钟型函数的宽度gamma就是核函数对应的超参数。只有当这两个超参数都确定的条件下,对相应支持向量机模型喂给数据后就能自动将模型参数-特征系数训练出来。

但是如何确定模型中的超参数(比方说是径向基支持向量机中的超参数C和gamma)?
将机器学习模型需要确立的超参数进行列表操作,框定这些超参数的取值范围。当模型只对应于一个超参数时就是一维坐标,当对应于两个超参数时就可以构建二维坐标,设计每个超参数的优化步进值,得到超参数的网格分离。

遍历搜寻网格中的每一对超参数(这个就是网格搜索法,也叫做暴力搜寻),对于每一对超参数进行评估,得到评估分数指标,将各对超参数的评估指标进行比对,得到最优超参数对,选出来用于模型训练。

K折交叉验证

对于每一对参数对进行指标评估就是使用交叉验证法。
将数据集分割为训练集和测试集,验证集在交叉验证中没有用。将分割后得训练集进行k个子集的分割,每一次将一个子集取为验证集,其余子集为训练集,共得到k种情况下的训练数据集分割;在当前的超参数条件下,使用k种情况的数据集对于模型进行训练,得到k个模型,使用相应验证集对于这k个模型进行预测结果分析得到k个正确率指标,将这k个正确率指标进行平均作为当前超参数条件下的对应分数。

模型融合

参考资料:https://zhuanlan.zhihu.com/p/25836678

1.Voting

模型融合其实也没有想象的那么高大上,从最简单的Voting说起,这也可以说是一种模型融合。假设对于一个二分类问题,有3个基础模型,那么就采取投票制的方法,投票多者确定为最终的分类。

2.Averaging

对于回归问题,一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。权值可以用排序的方法确定,举个例子,比如A、B、C三种基本模型,模型效果进行排名,假设排名分别是1,2,3,那么给这三个模型赋予的权值分别是3/6、2/6、1/6
这两种方法看似简单,其实后面的高级算法也可以说是基于此而产生的,Bagging或者Boosting都是一种把许多弱分类器这样融合成强分类器的思想。

3.Bagging

Bagging就是采用有放回的方式进行抽样,用抽样的样本建立子模型,对子模型进行训练,这个过程重复多次,最后进行融合。大概分为这样两步:
重复K次

有放回地重复抽样建模
训练子模型

2.模型融合
分类问题:voting

回归问题:average

Bagging算法不用我们自己实现,随机森林就是基于Bagging算法的一个典型例子,采用的基分类器是决策树。R和python都集成好了,直接调用。

4.Boosting

Bagging算法可以并行处理,而Boosting的思想是一种迭代的方法,每一次训练的时候都更加关心分类错误的样例,给这些分类错误的样例增加更大的权重,下一次迭代的目标就是能够更容易辨别出上一轮分类错误的样例。最终将这些弱分类器进行加权相加。引用加州大学欧文分校Alex Ihler教授的两页PPT
task6-网格搜索与模型融合
task6-网格搜索与模型融合

同样地,基于Boosting思想的有AdaBoost、GBDT等,在R和python也都是集成好了直接调用。

5.Stacking

参考资料:https://blog.csdn.net/wstcjf/article/details/77989963
stacking的过程有一张图非常经典,如下:
task6-网格搜索与模型融合
上半部分是用一个基础模型进行5折交叉验证,如:用XGBoost作为基础模型Model1,5折交叉验证就是先拿出四折作为training data,另外一折作为testing data。注意:在stacking中此部分数据会用到整个traing set。如:假设我们整个training set包含10000行数据,testing set包含2500行数据,那么每一次交叉验证其实就是对training set进行划分,在每一次的交叉验证中training data将会是8000行,testing data是2000行。

每一次的交叉验证包含两个过程:

  1. 基于training data训练模型;
  2. 基于training data训练生成的模型对testing data进行预测。

在整个第一次的交叉验证完成之后我们将会得到关于当前testing data的预测值,这将会是一个一维2000行的数据,记为a1。注意!在这部分操作完成后,我们还要对数据集原来的整个testing set进行预测,这个过程会生成2500个预测值,这部分预测值将会作为下一层模型testing data的一部分,记为b1。因为我们进行的是5折交叉验证,所以以上提及的过程将会进行五次,最终会生成针对testing set数据预测的5列2000行的数据a1,a2,a3,a4,a5,对testing set的预测会是5列2500行数据b1,b2,b3,b4,b5。

在完成对Model1的整个步骤之后,我们可以发现a1,a2,a3,a4,a5其实就是对原来整个training set的预测值,将他们拼凑起来,会形成一个10000行一列的矩阵,记为A1。而对于b1,b2,b3,b4,b5这部分数据,我们将各部分相加取平均值,得到一个2500行一列的矩阵,记为B1。

以上就是stacking中一个模型的完整流程,stacking中同一层通常包含多个模型,假设还有Model2: LR,Model3:RF,Model4: GBDT,Model5:SVM,对于这四个模型,我们可以重复以上的步骤,在整个流程结束之后,我们可以得到新的A2,A3,A4,A5,B2,B3,B4,B5矩阵。
在此之后,我们把A1,A2,A3,A4,A5并列合并得到一个10000行五列的矩阵作为training data,B1,B2,B3,B4,B5并列合并得到一个2500行五列的矩阵作为testing data。让下一层的模型,基于他们进一步训练。

代码实现

分类:

技术点:

相关文章: