当前位置：首页 > wzjs >正文

广州微网站开发企业网站建设费用会计科目

wzjs 2025/9/19 1:20:24

广州微网站开发,企业网站建设费用会计科目,学做视频的网站有哪些内容,遵义市住房和城乡建设厅网站集成学习及随机森林集成学习概述泛化能力的局限每种学习模型的能力都有其上限限制于特定结构受限于训练样本的质量和规模如何再提高泛化能力？ 研究新结构扩大训练规模提升模型的泛化能力创造性思路组合多个学习模型集成学习集成学习不是特定的…

集成学习及随机森林

集成学习概述

泛化能力的局限

每种学习模型的能力都有其上限

限制于特定结构
受限于训练样本的质量和规模

如何再提高泛化能力？

研究新结构
扩大训练规模

提升模型的泛化能力

创造性思路

组合多个学习模型

集成学习

集成学习不是特定的学习模型，而实一种构建模型的思路，一种训练学习的思想

强可学习和弱可学习

强可学习：对于一个概念或者一个类，如果存在一个多项式学习算法可以学习它，正确率高，则该概念是强可学习的。

弱可学习：如果能学习，但正确率只比瞎猜略好，则称为弱可学习。

也已证明，强可学习和弱可学习等价：

如果一个问题存在弱可学习算法，则必然存在强可学习算法

为集成学习奠定了基础

在这里插入图片描述

集成学习的基本问题

如何建立或选择弱学习模型

弱学习模型通常是单个的模型，是被集成的成员

如何制定组合策略

如何将多个学习模型的预测结果整合在一起

不同的组合策略会带来不同的结果

构建弱学习模型的策略

通常弱学习模型都是同类学习模型

同类模型之间的关系

无依赖关系
- 系列成员模型可以并行生成
- 代表算法：bagging，随机森林
强依赖关系
- 系列成员模型可串行生成
- 代表算法：boosting、梯度提升树
平均法
1. 处理回归问题
2. 对弱学习模型的输出进行平均得到最终的预测输出
  
  $H(x)=\frac{1}{n}\sum_{i=1}^nh_i(x)$
3. 也可以引入权重
  
  $H(x)=\frac{1}{n}\sum_{i=1}^nw_ih_i(x)$
投票法

处理分类问题

少数服从多数，最大票数相同则随机选择

也可以新增加要求，例如票数过半

也可以给每个成员不同的投票权重

再学习法

平均法和投票法可能带来大学习误差
- 再学习
  - 建立新的学习模型：再集成学习的组合端增加一个学习模型
  - 成员学习的模型输出作为新的学习模型的输入，集成模型的数量为n，新数据集维度为n
  - 代表方法：stacking

Bagging

——Bagging Aggregating的缩写

Bootstrap是一种有放回操作的抽样方法

抽取的样本会有重复

在这里，用来指导构建弱分类器

使用同类学习模型时采用的策略
可降低模型过拟合的可能性

采样过程说明

样本集规模为M，采样集规模也为M
- 样本集的样本不减少，每次采集后还要放回，因此同一样本可能会多次采集到。
- 每次随机采集一个样本，随机采集M次，组成采样集
- 随机采样，组成规模为M的n个采样集
  - 由于随机性，n个采样集不完全一样
  - 训练出的弱学习模型也存在差别
采样集中不被选中样本的概率

每次采样，每个样本不被选中的概率为：

$p(x)=1-\frac{1}{M}$

M次不被选中的概率为：

$p(x)=(1-\frac{1}{M})^M\\ \lim_{M\to\infty}(1-\frac{1}{M})^M=\frac{1}{e}\approx0.368$

这些数据称为袋外数据，大约36.8%的样本可以用作测试集