零基础入门机器学习 -- 第五章决策树与随机森林
目标：通过故事 + 直观案例 + 图示，让你完全理解决策树和随机森林，适合零基础学习者！
故事的开始：贷款审批的挑战
小王是一家银行的贷款审批经理，每天他的工作就是审核贷款申请。他的任务是判断：
- 哪些人值得批准？
- 哪些人风险较高，需要拒绝？
以前，他用自己的经验来做决定：
- 收入高的通常可以批准 ✅
- 信用评分低的人通常风险大 ❌
- 但有些特殊情况，比如年轻人没有信用记录，应该怎么判断呢？🤔
这时候，他听说了机器学习，一种可以让计算机自动做决策的技术。于是，他决定学习 决策树 和 随机森林 来帮忙！🚀
第一步：什么是决策树？
直观理解：如果……那么……
决策树（Decision Tree）是一种基于规则的学习方法，它就像一个决策流程图，每个条件都会分支，最终给出答案。
我们来看看小王以前的人工决策方法：
- 如果 收入 > 50000，那么 借款人通常能还钱，批准贷款。
- 否则，如果 信用评分 > 650，那么 也可以批准贷款。
- 否则，拒绝贷款。
这实际上就是一棵决策树：
收入 > 50000？
/ \
是 否
/ \
批准贷款 信用评分 > 650？
/ \
是 否
/ \
批准贷款 拒绝贷款
🔵 这样，小王的“经验”被清晰地整理成了规则！
第二步：机器如何创建决策树？
小王决定让机器自动学习这个“决策流程”。他收集了一些历史数据，包括：
- 年龄（Age）
- 收入（Income）
- 信用评分（Credit Score）
- 是否有不良信用记录（Bad Credit History）
- 最终贷款是否批准（Loan Approved）
🚀 机器学习模型的目标：
让计算机从数据中学习规则，而不是手动编写！
图示：决策树的构建过程
机器通过计算，自动找到最好的分裂点：
- 从哪个特征开始分裂？（如“收入”）
- 选择最佳的拆分条件（如“收入 > 50000”）
- 继续细分，直到决策完成！
示例：
收入 > 50000？
/ \
是 否
/ \
批准贷款 信用评分 > 650？
/ \
是 否
/ \
批准贷款 不良信用记录？
/ \
是 否
/ \
拒绝贷款 批准贷款
🔵 计算机自动找到最好的决策路径，比人工更可靠！
第三步：为什么单棵决策树可能不够好？
小王发现单棵决策树虽然直观，但可能有以下问题：
- 容易过拟合（Overfitting）：
- 过于依赖历史数据，在新数据上表现不好。
- 对数据敏感：
- 如果某个特征的值稍微变化，整棵树的决策路径可能改变。
🌳 于是，小王找到了更强大的方法——随机森林！
第四步：什么是随机森林？
想象一个法官陪审团
小王不想依赖一棵决策树，而是找很多棵树一起投票！这就是随机森林（Random Forest） 的思想。
🌲 随机森林的工作方式
- 生成多棵决策树（每棵树用不同的数据子集训练）。
- 每棵树独立做决策（例如“批准”或“拒绝”）。
- 最后投票决定最终结果！
🚀 图示：
🌲 决策树 1 → 批准
客户申请 → 🌲 决策树 2 → 拒绝
🌲 决策树 3 → 批准
...
最终投票结果：✔️ 批准
随机森林的优势：
✅ 更稳定：即使某棵树预测错误，其他树能纠正它。
✅ 更准确：比单棵树表现更好，不容易过拟合。
🔵 像一个团队讨论，而不是只听一个人的意见！
第五步：如何训练决策树模型？
🚀 现在，小王准备让计算机来训练一个真正的贷款审批预测模型。
1️⃣ 加载数据
import pandas as pd
# 创建贷款数据
data = {
'Age': [25, 45, 35, 50, 23, 40, 60, 30, 27, 48],
'Income': [50000, 80000, 60000, 120000, 30000, 70000, 150000, 50000, 40000, 90000],
'Credit Score': [650, 700, 720, 680, 580, 710, 750, 640, 600, 730],
'Bad Credit History': ['No', 'No', 'Yes', 'No', 'Yes', 'No', 'No', 'Yes', 'No', 'No'],
'Loan Approved': ['Yes', 'Yes', 'No', 'Yes', 'No', 'Yes', 'Yes', 'No', 'Yes', 'Yes']
}
df = pd.DataFrame(data)
示例输出：
Age Income Credit Score Bad Credit History Loan Approved
0 25 50000 650 No Yes
1 45 80000 700 No Yes
2 35 60000 720 Yes No
3 50 120000 680 No Yes
4 23 30000 580 Yes No
5 40 70000 710 No Yes
6 60 150000 750 No Yes
7 30 50000 640 Yes No
8 27 40000 600 No Yes
9 48 90000 730 No Yes
2️⃣ 预处理数据
from sklearn.preprocessing import LabelEncoder
# 将"Yes/No"转换为 1/0
label_encoder = LabelEncoder()
df['Bad Credit History'] = label_encoder.fit_transform(df['Bad Credit History'])
df['Loan Approved'] = label_encoder.fit_transform(df['Loan Approved'])
print(df)
示例输出：
Age Income Credit Score Bad Credit History Loan Approved
0 25 50000 650 0 1
1 45 80000 700 0 1
2 35 60000 720 1 0
3 50 120000 680 0 1
4 23 30000 580 1 0
5 40 70000 710 0 1
6 60 150000 750 0 1
7 30 50000 640 1 0
8 27 40000 600 0 1
9 48 90000 730 0 1
3️⃣ 训练决策树
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
X = df[['Age', 'Income', 'Credit Score', 'Bad Credit History']]
y = df['Loan Approved']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 训练决策树
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)
第六步：如何验证模型准确性？
🔍 1️⃣ 计算准确率
from sklearn.metrics import accuracy_score
y_pred = clf.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f'模型准确率: {accuracy:.2f}')
示例输出：
模型准确率: 1.00
总结
🎯 决策树 是一种基于“如果…那么…”的分类方法。
🎯 随机森林 是多棵决策树一起投票，提高准确性和稳定性。
🎯 训练模型 需要数据预处理、训练、测试和评估。
💡 **你学会了吗？如果还有疑问，可以试着用你的生活案例来画一棵决策树！**😃