机器学习——Bagging、随机森林

相比于Boosting的集成学习框架，Bagging(Bootstrap Sampling，自助聚集法，又称为自助采样)作为一种自助聚集且并行化的集成学习方法，其通过组合多个基学习器的预测结果来提高模型的稳定性和泛化能力。其中随机森林是Bagging学习框架的一个经典算法

Bagging的核心思想是：从原始数据集中有放回随机抽取样本，生成多个子数据集(每个子数据集大小与原始数据集相同)，比如原始数据集有500个，每个子数据集可能包含400个不重复的样本(加上重复的样本后，子数据集样本的总数就为500)

Boosting集成学习框架是序列(串行)迭代方式，而Bagging集成学习框架是并行方式。

随机森林的“随机”来源：样本随机获取和结点分裂时特征随机选择。

其将训练得到的大量决策树进行组合得到随机森林，由于决策树分为分类决策树和回归决策树。当使用的是分类决策树时，其大量分类决策树可以采用结果投票的方式得到综合后的分类结果；当使用的是回归决策树时，其大量回归决策树可以采用均值回归的方式得到综合后的回归结果。

其随机森林的实现思路：树结点-》决策树(分类/回归)-》自动抽样(行抽样(样本随机获取)-》列抽样(特征随机获取))-》随机森林构建(多棵树集成-》拟合方法-》预测方法)-》数据预测

其Bagging由于其并行和高精度的特点，使得随机森林在机器学习领域大受应用