【python进阶知识】Day 31 文件的规范拆分和写法

知识点

1. 规范的文件命名
2. 规范的文件夹管理
3. 机器学习项目的拆分
4. 编码格式和类型注解

机器学习流程

- 数据加载：从文件、数据库、API 等获取原始数据。

    - 命名参考：load_data.py 、data_loader.py

- 数据探索与可视化：了解数据特性，初期可用 Jupyter Notebook，成熟后固化绘图函数。

    - 命名参考：eda.py 、visualization_utils.py

- 数据预处理：处理缺失值、异常值，进行标准化、归一化、编码等操作。

    - 命名参考：preprocess.py 、data_cleaning.py 、data_transformation.py

- 特征工程：创建新特征，选择、优化现有特征。

    - 命名参考：feature_engineering.py

- 模型训练：构建模型架构，设置超参数并训练，保存模型。

    - 命名参考：model.py 、train.py

- 模型评估：用合适指标评估模型在测试集上的性能，生成报告。

    - 命名参考：evaluate.py

- 模型预测：用训练好的模型对新数据预测。

    - 命名参考：predict.py 、inference.py

作业：尝试针对之前的心脏病项目ipynb，将他按照今天的示例项目整理成规范的形式，思考下哪些部分可以未来复用。

1.导入依赖库

# 忽视警告
import warnings
warnings.simplefilter('ignore')# 数据处理
import numpy as np
import pandas as pd# 数据可视化
import matplotlib.pyplot as plt
import seaborn as sns # 随机森林
from sklearn.ensemble import RandomForestClassifier # 决策树
from sklearn.tree import DecisionTreeClassifier# 树的可视化
from sklearn.tree import export_graphviz # 模型评估方法
from sklearn.metrics import roc_curve, auc 
from sklearn.metrics import classification_report # 混淆矩阵
from sklearn.metrics import confusion_matrix # 数据切分
from sklearn.model_selection import train_test_split np.random.seed(123) 
pd.options.mode.chained_assignment = None  %matplotlib inline

2.数据可视化

# 设置可视化风格
sns.set(palette = 'pastel', rc = {"figure.figsize": (10,5), # 图形大小、"axes.titlesize" : 14,    # 标题文字尺寸"axes.labelsize" : 12,    # 坐标轴标签文字尺寸"xtick.labelsize" : 10,   # X轴刻度文字尺寸"ytick.labelsize" : 10 }) # Y轴刻度文字尺寸
a = sns.countplot(x = 'target', data = dt)               # 绘制计数图，其中x为target，数据为dt
a.set_title('Distribution of Presence of Heart Disease') # 设置图形标题
a.set_xticklabels(['Absent', 'Present'])                 # 将两个条形的标签分别设置为“Absent”（没有心脏病）和“Present”（有心脏病）
plt.xlabel("Presence of Heart Disease")                  # 设置X轴标签# 显示图形
plt.show()
g = sns.countplot(x = 'age', data = dt) # 绘制计数图，其中x为age，数据为dt
g.set_title('Distribution of Age')      # 设置图形标题
plt.xlabel('Age')                       # 设置X轴标签
b = sns.countplot(x = 'target', data = dt, hue = 'sex')          # 创建一个计数图，其中x为target，数据为dt，用sex作为色相（切分类别）
plt.legend(['Female', 'Male'])                                    # 以female/male作为标签，在图形中嵌入图例
b.set_title('Distribution of Presence of Heart Disease by Sex')   # 设置图形标题
b.set_xticklabels(['Absent', 'Present'])                          # 设置条形图的标签# 显示图形
plt.show()
# 可视化病患血清胆固醇浓度分布
sns.distplot(dt['chol'].dropna(), kde=True, color='darkblue', bins=40)

# 设置可视化风格
sns.set(palette = 'pastel', rc = {"figure.figsize": (10,5), # 图形大小、"axes.titlesize" : 14,    # 标题文字尺寸"axes.labelsize" : 12,    # 坐标轴标签文字尺寸"xtick.labelsize" : 10,   # X轴刻度文字尺寸"ytick.labelsize" : 10 }) # Y轴刻度文字尺寸
a = sns.countplot(x = 'target', data = dt)               # 绘制计数图，其中x为target，数据为dt
a.set_title('Distribution of Presence of Heart Disease') # 设置图形标题
a.set_xticklabels(['Absent', 'Present'])                 # 将两个条形的标签分别设置为“Absent”（没有心脏病）和“Present”（有心脏病）
plt.xlabel("Presence of Heart Disease")                  # 设置X轴标签# 显示图形
plt.show()
g = sns.countplot(x = 'age', data = dt) # 绘制计数图，其中x为age，数据为dt
g.set_title('Distribution of Age')      # 设置图形标题
plt.xlabel('Age')                       # 设置X轴标签
b = sns.countplot(x = 'target', data = dt, hue = 'sex')          # 创建一个计数图，其中x为target，数据为dt，用sex作为色相（切分类别）
plt.legend(['Female', 'Male'])                                    # 以female/male作为标签，在图形中嵌入图例
b.set_title('Distribution of Presence of Heart Disease by Sex')   # 设置图形标题
b.set_xticklabels(['Absent', 'Present'])                          # 设置条形图的标签# 显示图形
plt.show()
# 可视化病患血清胆固醇浓度分布
sns.distplot(dt['chol'].dropna(), kde=True, color='darkblue', bins=40)

3.数据预处理

# 对object数据类型进行编码
# 将"female"编码为0，将"male"编码为1
# 下面的编码方式类似
dt['sex'][dt['sex'] == 0] = 'female'
dt['sex'][dt['sex'] == 1] = 'male'dt['chest_pain_type'][dt['chest_pain_type'] == 1] = 'typical angina'
dt['chest_pain_type'][dt['chest_pain_type'] == 2] = 'atypical angina'
dt['chest_pain_type'][dt['chest_pain_type'] == 3] = 'non-anginal pain'
dt['chest_pain_type'][dt['chest_pain_type'] == 4] = 'asymptomatic'dt['fasting_blood_sugar'][dt['fasting_blood_sugar'] == 0] = 'lower than 120mg/ml'
dt['fasting_blood_sugar'][dt['fasting_blood_sugar'] == 1] = 'greater than 120mg/ml'dt['rest_ecg'][dt['rest_ecg'] == 0] = 'normal'
dt['rest_ecg'][dt['rest_ecg'] == 1] = 'ST-T wave abnormality'
dt['rest_ecg'][dt['rest_ecg'] == 2] = 'left ventricular hypertrophy'dt['exercise_induced_angina'][dt['exercise_induced_angina'] == 0] = 'no'
dt['exercise_induced_angina'][dt['exercise_induced_angina'] == 1] = 'yes'dt['st_slope'][dt['st_slope'] == 1] = 'upsloping'
dt['st_slope'][dt['st_slope'] == 2] = 'flat'
dt['st_slope'][dt['st_slope'] == 3] = 'downsloping'dt['thalassemia'][dt['thalassemia'] == 1] = 'normal'
dt['thalassemia'][dt['thalassemia'] == 2] = 'fixed defect'
dt['thalassemia'][dt['thalassemia'] == 3] = 'reversable defect'

4.模型训练与评估

# 模型建立
model = RandomForestClassifier(max_depth=5, n_estimators=10)    # 设置最大深度与基学习器等参数
model.fit(X_train, y_train)                                     # 使用随机森林拟合训练集# 模型训练
y_predict = model.predict(X_test)
# 生成一个nxm的矩阵，第i行表示第i个样本属于各个标签的概率
y_pred_quant = model.predict_proba(X_test)[:, 1]
y_pred_bin = model.predict(X_test)# 模型评估
total=sum(sum(confusion_matrix))sensitivity = confusion_matrix[0,0]/(confusion_matrix[0,0]+confusion_matrix[1,0])
print('灵敏度 : ', sensitivity )specificity = confusion_matrix[1,1]/(confusion_matrix[1,1]+confusion_matrix[0,1])
print('特异度 : ', specificity)