819 机器学习-决策树2

一、决策树的算法

信息增益：某个属性带来的熵增

1、决策树三大经典算法

• ID3 → 信息增益  

    信息增益：某个属性带来的熵增

• C4.5 → 信息增益率 

    信息增益率：信息增益÷自身熵

• CART → 基尼指数（分类）；平方误差最小化（回归）

    基尼指数Gini(D)： ·p越大，Gini(D)越小

• 如何防止过拟合

      少分叉 + 多验证 + 后剪枝”

2、sklearn.tree.DecisionTreeClassifier 关键参数

        数据集预测：例如心脏病数据集