【机器学习】什么是决策树？
什么是决策树？
决策树是一种用于分类和回归问题的模型。它通过一系列的“决策”将数据逐步分裂，最终得出预测结果。可以把它看作是一个“树”，每个节点表示一个特征的判断，而每个分支代表了可能的判断结果，最终的叶子节点表示预测结果。
通俗易懂的理解：
假设你正在玩一个猜谜游戏，目标是猜测一个人的年龄。你从以下几个问题开始：
- 你是否成年？
- 如果是，你的收入是否高于一定水平？
- 如果不是，你是学生吗？
每问一个问题，都会将可能的答案进一步分成不同的组，这样你最终会根据这些问题判断出一个大致的年龄范围。
决策树就是通过这种方式来做决策的：根据每个特征（问题）的条件，将数据逐层分组，最终在树的叶子节点给出结果。
举个简单的例子：
假设我们有一个数据集，其中包含不同动物的特征，如体重、是否有羽毛、是否会飞等，目标是判断动物是鸟还是非鸟（比如猫）。
| 体重（kg） | 是否有羽毛 | 是否会飞 | 动物类型 |
|---|---|---|---|
| 0.5 | 是 | 是 | 鸟 |
| 1.5 | 否 | 否 | 猫 |
| 0.2 | 是 | 是 | 鸟 |
| 0.3 | 是 | 否 | 鸟 |
| 5 | 否 | 否 | 猫 |
如何理解决策树：
- 第一个问题：是否有羽毛？如果有羽毛，可能是鸟，如果没有羽毛，可能是猫。
- 第二个问题：是否会飞？如果有羽毛但不能飞，可能是鸟，如果能飞，那么就是鸟。
决策树的结构：
在这个例子中，决策树的结构可能如下：
- 根节点：是否有羽毛？
- 如果有羽毛：是否会飞？
- 如果能飞：是鸟
- 如果不能飞：是鸟
- 如果没有羽毛：是猫
- 如果有羽毛：是否会飞？
代码示例：
我们可以使用Python的scikit-learn库来实现一个简单的决策树分类器，来判断动物是否是鸟。
from sklearn import tree
import numpy as np
from matplotlib import rcParams
import matplotlib.pyplot as plt
# 设置字体为支持中文的字体
rcParams['font.family'] = 'SimHei'
rcParams['axes.unicode_minus'] = False
# 数据：体重（kg）、是否有羽毛、是否会飞
X = np.array([[0.5, 1, 1], [1.5, 0, 0], [0.2, 1, 1], [0.3, 1, 0], [5, 0, 0]])
# 标签：鸟=1，猫=0
y = np.array([1, 0, 1, 1, 0])
# 创建决策树分类器
clf = tree.DecisionTreeClassifier()
# 训练模型
clf = clf.fit(X, y)
# 用模型进行预测（预测一个新的动物：体重 0.4kg，有羽毛，不会飞）
prediction = clf.predict([[0.4, 1, 0]])
# 打印预测结果
if prediction == 1:
print("这是一个鸟。")
else:
print("这是一个猫。")
# 可视化决策树
import matplotlib.pyplot as plt
tree.plot_tree(clf, feature_names=['体重', '是否有羽毛', '是否会飞'], class_names=['猫', '鸟'], filled=True)
plt.show()
代码解释：
- 数据 (
X)：每一行表示一个动物的特征，包括体重、是否有羽毛和是否会飞。1表示有羽毛/会飞，0表示没有羽毛/不会飞。 - 标签 (
y)：0表示猫，1表示鸟。 - 训练模型：我们用
DecisionTreeClassifier()创建一个决策树分类器，并用clf.fit(X, y)训练它。 - 预测：我们使用训练好的模型来预测一个新动物的类别（体重0.4kg、有羽毛、不飞行）。
- 可视化决策树：
tree.plot_tree()C 用于绘制训练出来的决策树，帮助我们理解树的结构。
输出解释：
- 代码会告诉我们，预测的动物是鸟还是猫。
- 如果我们运行代码，决策树的可视化结果将显示决策树的结构，帮助我们理解每个节点的决策依据。
总结：
决策树通过一系列的条件判断来做出预测。它通过将数据逐步分裂成子集，最终在叶子节点给出一个预测结果。它的优点是易于理解和可解释性强，但缺点是容易过拟合，特别是在数据集很复杂时。为了防止过拟合，我们通常会进行剪枝，限制树的深度等。
希望这个解释和代码示例能帮助你更好地理解决策树！