图解深度学习 - 特征工程(DL和ML的核心差异)
前言
深度学习通过自动化特征提取,简化了机器学习工作流程,它让解决问题变得更加简单。因为深度学习将特征工程完全自动化,而特征工程曾经是机器学习工作流程中最关键的一步。
一、机器学习特征工程
机器学习为什么需要特征工程(Feature Engineering)?早期的机器学习技术,通常被称为浅层学习,它们主要依赖于将数据变换到一两个连续的表示空间中,而这些变换往往相对简单。
例如支持向量机(SVM)中的高维非线性投影或是决策树(Decision Tree)的分支逻辑,难以捕捉到到复杂问题所需要的精确表示。
“一图 + 一句话”彻底搞懂ML为什么需要特征工程。
“为了克服机器学习算法只能浅层学习的局限,研究人员和工程师们不得不花费大量时间和精力来预处理数据,使其更适合于这些浅层学习算法。这一步叫做特征工程(Feature Engineering)。”
特征工程(Feature Engineering)是什么?特征工程通常涉及对原始数据的预处理、特征选择、特征提取和特征转换等过程,旨在通过手动设计良好的表示层来增强数据的可区分性和算法的性能。
然而,这一过程不仅耗时费力,而且很大程度上依赖于领域知识和经验,难以保证在所有情况下都能找到最优的表示。
“一图 + 一句话”彻底搞懂什么是特征工程。
“特征工程是将原始数据转化为能更好地表示业务逻辑、提高机器学习模型性能的特征的过程。它涵盖特征提取(挖掘数据关键特性)、特征选择(筛选预测关键特征子集)以及特征转换(数学变换优化特征性能)。“
二、深度学习自动学习特征
深度学习如何自动学习特征(Feature)?深度学习由于神经网络的多层结构和非线性激活函数,能够同时学习所有表示层,实现特征的自动学习与调节,无需人为干预。
深度学习在数据学习中展现出两大核心特性:首先,它采用逐层递进的方式,逐步构建出愈发复杂的特征表示;其次,这些中间层的特征表示是协同学习的,即每一层的调整都需兼顾其上下相邻层的影响。这两大特性的结合,赋予了深度学习自动学习特征的能力。
“一图 + 一句话”彻底搞懂深度学习自动学习特征。
“深度学习可以一次性学习所有特征,而无须自己手动设计。这极大地简化了机器学习工作流程,通常用一个简单、端到端的深度学习模型可以取代复杂的多级流程。“
资料分享
为了方便大家学习,我整理了一份100G人工智能学习资料
包含数学与Python编程基础、深度学习+机器学习入门到实战,计算机视觉+自然语言处理+大模型资料合集,不仅有配套教程讲义还有对应源码数据集,更有零基础入门学习路线,不论你处于什么阶段,这份资料都能帮助你更好地入门到进阶。
需要的兄弟可以按照这个图的方式免费获取