模型融合

1. 模型融合

 模型融合（model ensemble）   是什么？   把不同的学习模型结合起来。   如果各个模型是同质的，比如都是线性回归，或都是决策树，就称为base learner。   如果用来融合的模型是异质的，比如一个决策树和一个神经网络融合，就称为component learner。   神经网络模型是非凸的，存在很多的局部最优点，所以可以通过多个模型的融合，取多个初始值，获得更逼近全局最优的解。   模型融合的几种方式：    1. 群众的力量是伟大的，集体智慧是惊人的。 
    2. 站在巨人的肩膀上，能看的更远 
    3. 一万小时定律 
   模型很多时候效果不好的原因是  过拟合    如何缓解：
   1）如果用一个算法：
   2）用不同的算法（使用不同算法一般叫Voting classfier，Bagging一般指的是同一种算法）：
   用多种predictor 结果作为特征 训练。   
                                           
   第一层：使用数据集a，训练出不同种类的分类器，比如LR（线性回归）、SVM、决策树。   第二层：换一个数据集b（为了避免过拟合），输入第一层，再基于第一层的结果作为输入，训练出第二层的模型。
   第二层如果用的是非线性模型，容易产生过拟合，所以如果把第二层的模型限制为线性模型，比如LR，那么这个方法就被称之为blending。
   考得不好的原因是什么？
                                            Boosting是串行的过程，目的是为了降低偏差，让简单的模型变强。   Bagging是并行的过程，目的是为了降低方差，减少过拟合。