机器学习——回归树

将决策树推广为回归算法，所以可以预测一个数字。

示例：这个例子将使用我们之前使用的离散值特性，为了预测动物Y的体重，体重不再是输入功能，而是我们要预测的目标输出值Y，而不是试图预测动物是不是猫，这是一个回归问题，因为我们想预测一个数字y，让我们看看回归树在这里是什么样子的？

已经将这个回归问题构造了一个树，根节点在耳朵形状上分裂的地方，然后左右子树在脸型上分裂，右边还有脸型，选择在相同特性上拆分的决策树没有错，在左支部和右支部，如果分裂算法选择这样做，那是完全可以的，如果在训练中决定了这些分支，下面的这个节点会有这四支重7.2、8.4、7.6、10.2磅的动物，剩下一只动物为9.2磅，以此类推。所以我们需要为这个决策树填写的最后一件事是，如果有一个测试示例下到第一个节点，我们应该预测的权重是多少？对于一个长着尖耳朵和圆脸的动物来说，决策树会做出预测，根据下边训练样本中的平均重量，通过平均这四个数字得到了8.35分，如果另一方面，动物有尖耳朵和不圆的脸型，它会预测9.2，因为只是一只动物的重量，同样下边将是17.7和9.9，所以这个模型要做的是给出一个新的测试示例，像往常一样沿着决策节点向下，直到它到达叶节点，然后预测叶结点处的值，通过测量动物在训练过程中的平均体重，回到了同样的叶子音符上。

所以如果你从头开始构建决策树，使用此数据集来预测权重，关键的决定是如何选择在哪个功能上拆分，使用一个根节点的例子来说明如何做这个决定

如果在耳朵上进行分裂，最终得到了树的左右树枝，左右各有五只动物体重如下，如果选择脸型，最终会把这些动物分成左右两边，下面写出相应权重，如果选择胡须来进行分类，会得到第三幅图。给定这三个可能的特性，在根节点上拆分，应该选择哪一个？在建立决策树时，这给出了动物体重的最佳预测，而不是试图减少熵，这是我们在分类问题上对杂质的衡量，相反，我们试图减少权重的方差，数据的每个子集的值y，所以对于这组数字，方差依次为1.47、21.87，我们将计算和前面一样的w左和w右作为向左和向右分支的例子的一部分，拆分后的平均方差是5/10，然后计算加权平均方差，这个加权平均方差与我们使用的加权平均熵的作用非常相似，在决定对分类问题使用什么拆分时，然后我们可以在这里重复这个计算，以获得其他可能的选择特性，以此类推，选择加权方差最小的值，类似于当我们计算信息增益时，像分类问题一样，我们不只是测量平均加权熵，测量了熵的减少，这是回归树的信息增益，也将类似地测量方差的减少，如果观察训练中的所有例子，设置所有十个例子并计算所有例子的方差，所以例子的方差为20.51，对于所有这些中的根节点来说，这是相同的值，因为它是根节点上相同的十个例子，所以要计算的是根节点的方差，也就是20.51减去加权平均方差，结果为8.84，所以在根结处，在耳朵分裂特征中，这两个节点的平均加权方差减少8.84，如果计算方差减少的表达式，中间的例子是20.51减去之前的表达式结果等于0.64，这是一个非常小的方差减少，对于胡须，最终得到6.22，所以在这三个例子中，第一个得到了最大的方差减少，所以就象以前一样我们会选择一个给你最大信息增益的功能，对于回归树，会选择一个能给你最大的方差减少的特征这就是为什么选择脸型作为分裂的特征。选择了耳朵形状的特征来分裂，有左右分支两个示例，再一次递归地说，拿到这五个例子，建立一个新的决策树，再把注意力集中在这五个例子上评估要拆分的特性的不同选项，并选择一个给你最大的方差减少，同样在右边，继续分裂，直到达到不再分裂的标准。