Tabnet介绍（Decision Manifolds）和PyTorch TabNet之TabNetRegressor
Tabnet介绍（Decision Manifolds）和PyTorch TabNet之TabNetRegressor
- Decision Manifolds
- TabNet
-
- 1.核心思想
- 2. 架构组成
- 3. 工作流程
- 4. 优点
- PyTorch TabNet
-
- TabNetRegressor参数
-
- 1. 模型相关参数
-
- `n_d`
- `n_a`
- `n_steps`
- `gamma`
- `cat_idxs`
- `cat_dims`
- `cat_emb_dim`
- 2. 训练相关参数
-
- `optimizer_fn`
- `optimizer_params`
- `scheduler_fn`
- `scheduler_params`
- `mask_type`
- 3. 其他参数
-
- `seed`
- `verbose`
- `device_name`
- TabNetRegressor.fit 参数详解
-
- 1. 核心训练数据参数
-
- `X_train`
- `y_train`
- 2. 验证数据参数
-
- `eval_set`
- `eval_name`
- `eval_metric`
- 3. 训练控制参数
-
- `max_epochs`
- `patience`
- `batch_size`
- `virtual_batch_size`
- `num_workers`
- 4. 回调与日志参数
-
- `drop_last`
- `callbacks`
- `from_unsupervised`
- `loss_fn `
- TabNetRegressor.predict 参数
-
- 1. 核心参数
-
- `X`
- `batch_size`
- `num_workers`
- `from_unsupervised`
- `return_proba`
- `verbose`
- 2. 返回值
- 参考
Decision Manifolds
指在决策树模型中，数据点通过一系列超平面的分割形成的决策边界。具体来说：
- 在决策树模型中：决策流形由一系列垂直于特征轴的超平面组成，这些超平面将数据空间划分为多个区域，每个区域代表一个决策区域。例如，一个简单的决策树可能通过比较特征值与某个阈值来决定数据点的分类或回归结果。
- 适用于表格数据：由于表格数据通常具有结构化特征，决策流形的这种分割方式能够有效地捕捉数据中的线性关系，尤其是在特征维度较低的情况下，能够实现较好的分类或回归性能。
- 可解释性：决策流形的直观分割使得模型的决策过程易于理解，每个分割超平面都对应一个特定的特征阈值，便于人类解释和理解模型的决策依据。
- 对比神经网络：与依赖于高维非线性映射的神经网络不同，决策流形提供了一种更直接、更简单的决策方式，这在某些情况下使得决策树模型在表格数据上表现更佳。
此外，决策流形的概念也与模型的归纳偏差相关，即模型在学习过程中倾向于生成符合某种先验知识或规则的解。对于表格数据，决策树模型的决策流形天生具备线性分割的归纳偏差，这有助于它在没有过多参数调整的