详细案例，集成算法
以下是一个使用 随机森林（RF） 和 XGBoost 解决结构化数据分类问题的完整案例（以泰坦尼克号生存预测为例），包含数据处理、建模和结果分析：
案例：泰坦尼克号乘客生存预测
目标：根据乘客特征（如年龄、船舱等级等）预测生存与否（0=遇难，1=存活）。
一、数据准备
1. 加载数据
import pandas as pd
train = pd.read_csv("train.csv") # 训练集
test = pd.read_csv("test.csv") # 测试集
2. 数据清洗
- 缺失值处理：
- 年龄（Age）：用中位数填充。
- 登船港口（Embarked）：用众数填充。
- 船舱等级（Fare）：用均值填充测试集缺失值。
train['Age'].fillna(train['Age'].median(), inplace=True)
train['Embarked'].fillna(train['Embarked'].mode()[0], inplace=True)
test['Age'].fillna(test['Age'].median(), inplace=True)
test['Fare'].fillna(test['Fare'].mean(), inplace=True)
- 特征工程：
- 提取船舱首字母（如Cabin='C85' → 'C'），缺失值标记为'X'。
- 转换分类变量（如性别、登船港口）为数值型（独热编码）。
train['Cabin'] = train['Cabin'].fillna('X').apply(lambda x: x[0])
test['Cabin'] = test['Cabin'].fillna('X').apply(lambda x: x[0])
train = pd.get_dummies(train, columns=['Sex', 'Embarked', 'Cabin'])
test = pd.get_dummies(test, columns=['Sex', 'Embarked', 'Cabin'])
- 选择核心特征：
features = ['Pclass', 'Age', 'SibSp', 'Parch', 'Fare'] + \
[col for col in train.columns if 'Sex_' in col or 'Embarked_' in col or 'Cabin_' in col]
X_train = train[features]
y_train = train['Survived']
X_test = test[features]
二、模型训练与调优
1. 随机森林（RF）
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
# 初始模型
rf = RandomForestClassifier(random_state=42)
rf.fit(X_train, y_train)
# 网格搜索调参
param_grid = {
'n_estimators': [100, 200],
'max_depth': [None, 10, 20],
'min_samples_split': [2, 5]
}
grid_search = GridSearchCV(rf, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)
best_rf = grid_search.best_estimator_
2. XGBoost
import xgboost as xgb
from xgboost import plot_importance
import matplotlib.pyplot as plt
# 初始模型
xgb_model = xgb.XGBClassifier(
objective='binary:logistic',
random_state=42,
n_estimators=500,
learning_rate=0.1
)
xgb_model.fit(X_train, y_train, early_stopping_rounds=50,
eval_set=[(X_train, y_train)], verbose=False)
# 特征重要性可视化
plot_importance(xgb_model)
plt.show()
三、结果分析
1. 模型评估（训练集）
from sklearn.metrics import accuracy_score, classification_report
# 随机森林
y_pred_rf = best_rf.predict(X_train)
print("RF准确率:", accuracy_score(y_train, y_pred_rf)) # 示例输出：~0.85
# XGBoost
y_pred_xgb = xgb_model.predict(X_train)
print("XGBoost准确率:", accuracy_score(y_train, y_pred_xgb)) # 示例输出：~0.88
2. 预测提交（测试集）
# 生成预测结果
test['Survived'] = best_rf.predict(X_test) # 或用xgb_model.predict(X_test)
submission = test[['PassengerId', 'Survived']]
submission.to_csv("submission.csv", index=False)
四、关键结论
1. 特征重要性：
- XGBoost显示性别（Sex_female）、船舱等级（Pclass）、年龄（Age）是最重要的生存预测因素（见特征重要性图）。
2. 模型对比：
- 随机森林调参后准确率约85%，XGBoost通过正则化和早停机制准确率更高（约88%），但需注意过拟合风险。
3. 优化方向：
- 可尝试Stacking集成（如RF+逻辑回归作为元模型），或进一步调整XGBoost的 max_depth 和 reg_alpha 。
代码优化建议
- 并行加速：XGBoost设置 n_jobs=-1 启用多线程，RF设置 n_jobs=-1 加速训练。
- 数据泄漏检查：特征工程需在训练集和测试集独立处理（避免用测试集数据填充训练集缺失值）。
需要完整数据集或其他算法案例（如GBDT）可随时告知！