机器学习基本术语详解
1. 特征（Feature）
- 定义：数据的属性或变量，用于描述样本的某个方面。
- 作用：模型通过学习特征与目标之间的关系进行预测。
- 示例：
- 预测房价时，特征可以是 面积、地段、房龄。
- 图像识别中，特征可以是 像素值、颜色直方图。
- 关键点：
- 特征工程（Feature Engineering）：通过变换、组合特征提升模型性能（如将“年龄”分桶为“青年/中年/老年”）。
- 特征选择（Feature Selection）：剔除无关或冗余特征（如用相关系数筛选）。
2. 样本（Sample / Instance）
- 定义：数据集中的一条具体数据，由一组特征及其可能的标签组成。
- 示例：
- 监督学习：一条样本 = 特征 + 标签（如
{面积:80㎡, 地段:市中心, 房价:500万}）。 - 无监督学习：一条样本 = 仅特征（如
{用户A, 点击次数:5, 停留时长:10分钟}）。
- 关键点：
- 样本是模型的“学习材料”，数据量越大，模型通常表现越好（但需保证质量）。
3. 训练集（Training Set）
- 定义：用于训练模型的数据子集，模型通过拟合这些数据学习规律。
- 占比：通常占全量数据的 70%~80%。
- 关键点：
- 过拟合风险：模型在训练集上表现太好（如背答案），但在新数据上表现差。
- 数据增强（Data Augmentation）：通过旋转图像、添加噪声等方式扩充训练集（常见于深度学习）。
4. 测试集（Test Set）
- 定义：用于评估模型泛化能力的独立数据子集，模拟真实场景。
- 占比：通常占 20%~30%，且不能参与训练。
- 关键点：
- 测试集是模型的“期末考试”，反映其实际应用效果。
- 数据泄漏（Data Leakage）：若测试集信息混入训练集（如全局归一化），会导致评估失真。
5. 监督学习（Supervised Learning）
- 定义：数据带有标签（Label），模型学习从特征到标签的映射关系。
- 典型任务：
- 分类（Classification）：输出离散值（如垃圾邮件检测：0/1）。
- 回归（Regression）：输出连续值（如房价预测：500.3万）。
- 示例算法：
- 线性回归、决策树、支持向量机（SVM）、神经网络。
6. 无监督学习（Unsupervised Learning）
- 定义：数据无标签，模型自行发现数据中的模式或结构。
- 典型任务：
- 聚类（Clustering）：将相似样本分组（如客户分群）。
- 降维（Dimensionality Reduction）：压缩特征数量（如PCA）。
- 异常检测（Anomaly Detection）：识别离群点（如信用卡欺诈）。
- 示例算法：
- K-Means、DBSCAN、主成分分析（PCA）、自编码器（Autoencoder）。
术语对比表
| 术语 | 定义 | 示例 |
|---|
| 特征 | 数据的属性 | 房价预测中的“面积” |
| 样本 | 一条具体数据 | {面积:80㎡, 房价:500万} |
| 训练集 | 用于训练模型的数据 | 70%的历史房价数据 |
| 测试集 | 用于评估模型的数据 | 30%的保留房价数据 |
| 监督学习 | 数据带标签的学习 | 分类（猫 vs 狗） |
| 无监督学习 | 数据无标签的学习 | 聚类（用户分群） |
常见问题
- 训练集和测试集为什么要分开？
- 防止模型“作弊”（过拟合），确保评估结果反映真实性能。
- 无监督学习有什么用？
- 探索数据内在结构（如市场细分）、预处理数据（如降维后再分类）。
- 特征越多越好吗？
- 不是！无关特征会引入噪声（“维度诅咒”），需通过特征选择/降维优化。
总结
- 特征是数据的描述属性，样本是具体实例。
- 训练集用于学习，测试集用于验证。
- 监督学习需要标签，解决预测问题；无监督学习无标签，解决模式发现问题。
