机器学习——连续的有价值特征

修改决策树使用的不仅仅是离散值的特性，但是连续值可以是任何数字的特征。

示例：已经修改了猫收养中心的数据集，增加了一个更多的功能，weight是猫和狗的平均体重，以磅为单位，猫比狗轻一点，虽然有些猫比有些狗还重，但是动物的体重是一个有用的特征，另一个特征是 是不是猫，那么如何让决策树使用这样的特性？

决策树学习算法将像以前一样进行，除了考虑在耳形脸型上之外，形状和胡须，还要考虑在耳形脸型胡须或重量，如果在权重特征上拆分比其他选项提供更好的信息增益，然后会在重量特征上分裂，但是如何决定如何在重量特征上分割呢？

下面是根节点上的数据图，在横轴上绘制了动物的重量，垂直轴上是猫，猫在上面，所以垂直轴表示标签y是1或0，我们在重量特征上的分歧是，如果我们把数据分开，基于权重是否小于或等于某个值，或者其它一些数字，这将是学习算法的工作——选择。在考虑对权重特性进行拆分时，应该做什么？是考虑这个阈值的许多不同值，然后选择一个最好的，即能获得最好信息的，所以，如果你想把例子分开，基于重量是小于还是等于8，将把整个数据集分成两个子集，左边的子集有两只猫，右边的子集有三只猫和五只狗，所以如果计算通常的信息增益，需要计算根节点的熵，0.5的熵，左边分裂的时间熵有另外两只猫，所以另外两个的熵，另外，右边的分裂有十个例子中的八个，右边八个例子的熵三个是猫，所以输入三个工具，结果是0.24。所以这将是信息获取，如果你们分出重量是小于还是等于8，但我们应该尝试其他的值，假设重量是否≤9，与浅绿色的线相对应，信息增益计算为0.61，现在在左边有四个例子，把所有的猫都分开，所以这是四的十倍熵，加上右边的六个例子，其中有一只猫，这样的信息增益看起来好多了，0.61的信息增益比0.24高得多，或者可以尝试另一个值，13，计算结果为0.40，在更普遍的情况下，我们实际上不只是尝试三个值，但是沿着x轴的多个值，一个惯例是根据权重对所有例子进行排序或者根据这个特性上的值取所有作为排序的训练示例列表之间中点的值，作为这个阈值的考虑值，如果有十个训练值，将为此阈值测试九个不同的可能值，然后试着选择一个给你信息增益最高的，最后如果在此阈值给定值上拆分获得的信息比在任何其他特征上拆分获得的信息都要好，然后决定在该特性处拆分该节点，在这个例子中，第六点的信息增益比任何其他特征都高，原来实际上有两个阈值，所以假设算法选择了这个特征来分裂，最终拆分数据集，根据动物的体重是否小于或等于九磅，所以最终得到了像这样的两个数据子集，然后可以建造这两个数据子集来构建树的其余部分。

所以总结一下，使决策树在每个节点上处理连续值特征，在考虑分裂时，只会考虑不同的值，进行通常的信息增益计算，并决定在连续值特征上分裂，如果它给出了尽可能高的信息增益。这就是如何让决策树和连续值特性一起工作，做通常的信息增益计算，并用选定的阈值对连续值特征进行拆分，如果它给你最好的信息，从所有可能的功能中获得分裂。