第二十七课：手搓梯度提升树
🌳 Python实现梯度提升树(GBDT)：让决策树"代代进化"的魔法
梯度提升树就像一群小树苗在接力成长，每棵新树都专注于前辈们犯过的错误，最终长成一片预测能力强大的森林。下面我用Python展示这个强大的算法。
🧰 准备工具包
from sklearn.ensemble import GradientBoostingRegressor # 回归问题用
from sklearn.ensemble import GradientBoostingClassifier # 分类问题用
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, accuracy_score
import numpy as np
import matplotlib.pyplot as plt
🌲 梯度提升树四步曲
1. 创建模拟数据（回归问题示例）
# 生成一个有噪声的波浪形数据集
np.random.seed(42)
X = np.linspace(0, 10, 100).reshape(-1, 1)
y = np.sin(X).ravel() + np.random.normal(0, 0.1, X.shape[0])# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)plt.scatter(X_train, y_train, label='训练数据')
plt.title("原始数据")
plt.legend()
plt.show()
2. 训练GBDT模型
# 创建梯度提升树回归器
gbr = GradientBoostingRegressor(n_estimators=100, # 100棵小树learning_rate=0.1, # 学习率max_depth=3, # 每棵树的最大深度min_samples_split=2, random_state=42
)# 训练模型
gbr.fit(X_train, y_train)# 预测
y_pred = gbr.predict(X_test)# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"测试集均方误差(MSE): {mse:.4f}")
3. 可视化预测效果
# 生成预测线
X_plot = np.linspace(0, 10, 1000).reshape(-1, 1)
y_plot = gbr.predict(X_plot)plt.scatter(X_train, y_train, label='训练数据')
plt.plot(X_plot, y_plot, color='red', linewidth=2, label='GBDT预测')
plt.title("梯度提升树回归效果")
plt.legend()
plt.show()
4. 查看训练过程（分类问题示例）
# 创建分类数据集
from sklearn.datasets import make_classification
X_clf, y_clf = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=42)# 分割数据
X_train_clf, X_test_clf, y_train_clf, y_test_clf = train_test_split(X_clf, y_clf, test_size=0.2, random_state=42)# 训练分类器
gbc = GradientBoostingClassifier(n_estimators=100, random_state=42)
gbc.fit(X_train_clf, y_train_clf)# 查看训练过程中准确率的变化
test_acc = [accuracy_score(y_test_clf, y_pred) for y_pred in gbc.staged_predict(X_test_clf)]plt.plot(range(1, 101), test_acc)
plt.xlabel("树的数量")
plt.ylabel("测试集准确率")
plt.title("GBDT分类器学习曲线")
plt.show()
🍎 通俗例子：预测水果价格
假设我们有3天的水果销售数据：
| 天数 | 天气(1-5) | 周末(0/1) | 实际价格 |
|---|---|---|---|
| 1 | 3 | 0 | 10元 |
| 2 | 5 | 1 | 15元 |
| 3 | 2 | 0 | 8元 |
GBDT的工作流程：
- 第一棵树（基础模型）：
- 简单预测：所有水果均价11元
- 残差(误差)：[-1, +4, -3]（实际-预测）
- 第二棵树：
- 学习目标：预测第一棵树的残差
- 发现规则：如果是周末 → +3.5元，否则 → -2元
- 新预测：11 + 3.5 = 14.5(周末), 11 - 2 = 9(非周末)
- 新残差：[-1, +0.5, -1]
- 第三棵树：
- 继续学习剩余残差
- 发现规则：好天气(>4) → +0.3元
- 最终预测变得更为精准
- 最终预测：
- 综合所有树的预测结果
- 例如第2天预测值 = 11 + 3.5 + 0.3 = 14.8元（接近实际15元）
💡 核心特点
- 残差学习：每棵树都试图修正前一棵树的错误，像不断改进的草稿
- 可调参数：
learning_rate：控制每棵树的贡献（小步慢走更稳健）n_estimators：树的数量（太多可能过拟合）max_depth：每棵树的复杂度（通常3-5层足够）
- 适用广泛：
- 回归问题（预测房价）
- 分类问题（判断邮件是否垃圾邮件）
- 排序问题（搜索结果的排序）
记住：梯度提升树就像一群互相帮助的学生，每个新学生都特别关注班上做错题的同学，最终全班成绩越来越好！