当前位置: 首页 > news >正文

视觉学习篇——理清机器学习:分类、流程与技术家族的关系

文章目录

  • 前言
  • 一、机器学习到底是什么?
  • 二、机器学习的核心分类
    • 1. 监督学习(Supervised Learning):有老师手把手教
      • 任务类型:
      • 示例:
      • 关键:
    • 2. 无监督学习(Unsupervised Learning):自己探索数据的秘密
      • 任务类型:
      • 示例:
    • 3. 半监督学习(Semi-Supervised Learning):少量老师+大量自学
      • 示例:
    • 4. 强化学习(Reinforcement Learning):在试错中学会决策
      • 示例:AlphaGo的自我进化
  • 三、机器学习的通用流程:从问题到落地的7步
    • 步骤1:问题定义——明确“要解决什么”
    • 步骤2:数据收集与预处理——“垃圾进,垃圾出”
    • 步骤3:选择模型——“合适的才是最好的”
    • 步骤4:划分数据集——“不能既当裁判又当运动员”
    • 步骤5:训练模型——“让模型学规律”
    • 步骤6:评估模型——“模型到底好不好”
    • 步骤7:调优与部署——“让模型上线干活”
  • 四、机器学习家族的关系辨析:从原理到应用
    • 1. 机器学习 vs 深度学习:从“手动特征”到“自动特征”
      • 示例对比:图像分类
    • 2. 机器学习 vs 强化学习:从“模仿”到“探索”
      • 示例对比:训练机器人走路
    • 3. 深度学习+强化学习:强强联合的深度强化学习(DRL)
  • 总结:构建你的机器学习知识体系


前言

清晨打开手机,刷到感兴趣的新闻推荐;上班刷脸打卡,系统精准识别你的脸;电商APP弹出“你可能喜欢的商品”——这些习以为常的场景,背后都是机器学习在驱动。但你真的懂机器学习吗?它有哪些分支?和深度学习、强化学习是什么关系?如何用一套通用流程解决实际问题?

本文将从基础定义切入,拆解机器学习的核心分类,梳理通用工作流程,并用“原理+示例”讲透技术家族的关系。即使你是刚入门的小白,也能建立完整的知识框架。

一、机器学习到底是什么?

先给一个接地气的定义

机器学习是让计算机从数据中自动学习规律,无需人类显式编写所有规则,最终能对新数据做出预测或决策。

核心逻辑是:数据→模型→能力。比如垃圾邮件分类:

  • 数据:10万封带标签的邮件(“垃圾”/“非垃圾”);
  • 模型:从数据中学习“垃圾邮件”的特征(比如包含“中奖”“点击链接”等词);
  • 能力:预测新邮件是否是垃圾。

二、机器学习的核心分类

机器学习的分类逻辑很简单:看数据的标签情况是否与环境交互。我们用“老师教”“自己学”“试错学”三个场景拆解:

1. 监督学习(Supervised Learning):有老师手把手教

定义:用带标签的训练数据(输入X + 输出y)学习“输入→输出”的映射关系(f:X→y)。
核心逻辑:模型模仿“老师的答案”,学会对新输入做预测。

任务类型:

  • 分类(Classification):输出是离散类别(比如“垃圾/非垃圾”“猫/狗”)。
  • 回归(Regression):输出是连续数值(比如“房价”“销量”)。

示例:

  • 分类:用逻辑回归预测用户是否会流失(Churn)。输入是用户的“月使用时长”“付费金额”“投诉次数”,输出是0(不流失)或1(流失)。
  • 回归:用线性回归预测北京房价。输入是“面积”“房间数”“学区评分”,输出是“万元/平米”。

关键:

标签的质量决定模型上限——如果垃圾邮件的标签错了一半,模型永远学不会正确的规律。

2. 无监督学习(Unsupervised Learning):自己探索数据的秘密

定义:用无标签的训练数据,发现数据的内在结构或模式(不需要“老师”)。
核心逻辑:模型像侦探一样,从数据中挖掘隐藏的规律。

任务类型:

  • 聚类(Clustering):把相似数据分成组(比如“用户分群”)。
  • 降维(Dimensionality Reduction):减少特征数量,保留关键信息(比如“基因数据可视化”)。
  • 关联规则:发现数据中的频繁组合(比如“买尿布的人常买啤酒”)。

示例:

  • 聚类:电商平台用K-Means算法,把用户分成3群:
    ① 高价值群(月消费>1000元,浏览时长>2小时);
    ② 潜力群(月消费500-1000元,浏览时长>1小时);
    ③ 流失群(月消费<500元,30天未登录)。
    针对不同群推送个性化营销(比如高价值群推专属折扣,潜力群推满减券)。
  • 降维:用PCA(主成分分析)把1000维的基因表达数据降到2维,可视化后发现“癌症患者”和“健康人”明显分开。

3. 半监督学习(Semi-Supervised Learning):少量老师+大量自学

定义:用少量带标签数据 + 大量无标签数据训练模型(结合两者的优势)。
核心逻辑:无标签数据能帮模型学习数据的整体分布,辅助有标签数据提升性能。

示例:

医疗影像的病灶检测是个典型场景——标注病灶需要放射科专家,成本极高,只能拿到10%的带标签CT影像。这时可以用**标签传播(Label Propagation)**算法:

  • 先用10%的带标签数据训练一个初始模型;
  • 让模型“推测”无标签数据的标签(比如“这片区域可能是病灶”);
  • 把推测的标签加入训练集,重新训练模型。
    最终准确率比只用10%标签提升了30%——无标签数据帮模型学会了“正常肺部的样子”,减少了误判。

4. 强化学习(Reinforcement Learning):在试错中学会决策

定义:智能体(Agent)与**环境(Environment)交互,通过奖励信号(Reward)**学习最优策略(Policy),最大化长期累积奖励。
核心要素

  • 状态(State):环境的当前情况(比如围棋棋盘布局);
  • 动作(Action):智能体的行为(比如落子);
  • 奖励(Reward):环境对动作的反馈(比如赢棋得1,输棋得-1)。

核心逻辑:模型像小孩学走路——摔了几次(负奖励),慢慢学会保持平衡(正奖励)。

示例:AlphaGo的自我进化

AlphaGo是强化学习的经典案例:

  • 智能体:AlphaGo的AI模型;
  • 环境:围棋棋盘;
  • 状态:当前棋盘的棋子分布;
  • 动作:在某个位置落子;
  • 奖励:赢棋得1分,输棋得-1分。
    AlphaGo通过自我对弈(每天下100万盘棋),不断调整策略网络(Policy Network)和价值网络(Value Network),最终学会了“在某个状态下,落子在哪个位置能最大化赢的概率”——甚至击败了人类世界冠军李世石。

三、机器学习的通用流程:从问题到落地的7步

不管用哪种方法,机器学习的流程都是标准化的。我们用一个真实场景串起来:预测用户是否会购买某款新上线的护肤品(分类任务)。

步骤1:问题定义——明确“要解决什么”

  • 业务目标:给新用户推送护肤品广告,提升转化率;
  • 技术目标:构建分类模型,输入用户特征,输出“会购买”(1)或“不会购买”(0);
  • 关键定义:什么是“会购买”?比如7天内下单并支付。

步骤2:数据收集与预处理——“垃圾进,垃圾出”

数据质量直接决定模型性能,这一步要解决“数据脏、乱、缺”的问题:

  • 收集数据:从数据库提取用户的“性别、年龄、浏览时长、收藏次数、历史购买金额、是否关注品牌公众号”;
  • 清洗数据
    • 缺失值:浏览时长为空的用户,用均值填充(比如整体平均浏览时长是10分钟);
    • 异常值:某用户浏览时长100小时(明显错误),直接删除;
  • 特征工程:把原始数据转换成模型能理解的格式:
    • 数值标准化:用StandardScaler把年龄、浏览时长转换成“均值0、方差1”的分布(避免“年龄大”比“浏览时间长”影响更大);
    • 类别编码:性别“男/女”转换成独热编码(One-Hot Encoding)——[1,0]代表男,[0,1]代表女;
    • 衍生特征:计算“浏览时长/历史购买金额”(反映“购买意愿强度”——浏览很久但没买,可能犹豫)。

步骤3:选择模型——“合适的才是最好的”

根据任务类型选模型:

  • 分类任务:优先选逻辑回归(可解释性强,适合小数据)或随机森林(处理非线性关系好);
  • 这里选逻辑回归,因为业务需要“知道哪些特征影响购买决策”(比如“历史购买金额”越高的用户,越可能买)。

步骤4:划分数据集——“不能既当裁判又当运动员”

把数据分成3份:

  • 训练集(70%):用来拟合模型参数;
  • 验证集(20%):用来调超参数(比如逻辑回归的正则化系数C);
  • 测试集(10%):用来最终评估模型性能(避免“过拟合”——模型只记住训练数据,不会泛化)。

步骤5:训练模型——“让模型学规律”

用训练集拟合逻辑回归模型:

from sklearn.linear_model import LogisticRegression# X_train是训练集特征,y_train是训练集标签
model = LogisticRegression()
model.fit(X_train, y_train)

步骤6:评估模型——“模型到底好不好”

用验证集计算分类指标

  • 精确率(Precision):预测会买的用户中,真的买了的比例(比如0.85——85%的预测是对的);
  • 召回率(Recall):真的会买的用户中,被预测到的比例(比如0.7——70%的潜在客户没漏掉);
  • F1-Score:精确率和召回率的调和平均(0.77——综合性能不错)。

如果召回率低(比如0.5),说明很多潜在客户没被找到,可以调整模型(比如降低分类阈值,把“预测概率>0.4”算作“会买”)。

步骤7:调优与部署——“让模型上线干活”

  • 超参数调优:用GridSearchCV搜索逻辑回归的正则化系数C(比如C=0.1时,F1-Score最高);
  • 模型部署:把训练好的模型导出成pickle文件,嵌入电商系统的后端。当新用户访问时,系统实时提取用户特征,调用模型预测,给“会买”的用户推送护肤品广告。

四、机器学习家族的关系辨析:从原理到应用

很多人会混淆“机器学习、深度学习、强化学习”——其实它们是包含关系

机器学习是父类,深度学习和强化学习是子类。

1. 机器学习 vs 深度学习:从“手动特征”到“自动特征”

深度学习是机器学习的子集,核心是深层神经网络(通常≥3层)。两者的本质区别在于特征提取方式

  • 传统机器学习:需要人类手动提取特征(比如用SIFT特征做图像分类,用TF-IDF做文本分类);
  • 深度学习:自动从数据中学习特征(比如CNN的第一层学“边缘”,第二层学“纹理”,第三层学“物体部件”,最后组合成“整体物体”)。

示例对比:图像分类

  • 传统机器学习:用HOG(方向梯度直方图)提取图像特征,再用SVM分类,准确率约70%;
  • 深度学习:用ResNet-50(50层CNN)自动提取特征,准确率约95%。

为什么深度学习有效?
因为深层网络能学习层次特征(Hierarchical Features)——从低到高抽象,更符合人类的视觉感知方式。比如看到一张猫的图片:

  • 第一层:识别“竖线”“圆圈”(猫的耳朵、眼睛);
  • 第二层:识别“三角形”(猫的鼻子)、“条纹”(猫的毛);
  • 第三层:识别“猫”的整体轮廓。

2. 机器学习 vs 强化学习:从“模仿”到“探索”

强化学习也是机器学习的子集,核心差异在于数据来源学习方式

  • 数据来源:监督学习用“带标签的输入输出对”(比如“这张图是猫”);强化学习用“奖励反馈”(比如“走这步赢了,得1分”);
  • 学习方式:监督学习是“模仿”(学老师的答案);强化学习是“探索”(试不同动作,找最优策略)。

示例对比:训练机器人走路

  • 监督学习:需要给每个动作标注“正确”或“错误”(比如“抬左腿”是对的,“摔倒了”是错的),成本极高;
  • 强化学习:机器人自己尝试——摔了几次(负奖励),慢慢学会“先站稳,再迈腿”(正奖励)。

3. 深度学习+强化学习:强强联合的深度强化学习(DRL)

当深度学习的“特征提取能力”遇上强化学习的“决策能力”,会产生奇妙的化学反应:

  • AlphaGo:用CNN处理棋盘状态(高维),用强化学习(蒙特卡洛树搜索+策略梯度)学习最优落子策略;
  • OpenAI Five:用深度神经网络处理Dota 2的游戏画面(像素级),用强化学习学习团队配合,击败人类职业选手。

总结:构建你的机器学习知识体系

  1. 核心分类:机器学习分为监督(有标签)、无监督(无标签)、半监督(少量标签)、强化学习(与环境交互);
  2. 通用流程:问题定义→数据预处理→模型选择→训练→评估→调优→部署;
  3. 技术关系:深度学习是机器学习的进化(自动特征提取),强化学习是机器学习的“决策分支”(试错学习)。

附:常用算法速查表

分类常用算法典型应用
监督学习-分类逻辑回归、SVM、随机森林垃圾邮件分类、用户流失预测
监督学习-回归线性回归、XGBoost房价预测、销量预测
无监督学习-聚类K-Means、DBSCAN用户分群、异常检测
强化学习DQN、PPO、AlphaGo游戏AI、机器人控制
http://www.dtcms.com/a/602104.html

相关文章:

  • 个人 网站备案 幕布wordpress黑群
  • 机器学习日报17
  • 沛县网站建设wordpress 标签 标题
  • 数字孪生IOC:让数据中心运维从“被动响应”到“主动预警”的智能革命
  • 长春作网站建设的公司wordpress上传到服务器发布
  • 炭黑仪:高精度材料分析的关键工具
  • C++条件判断与循环(一)(算法竞赛)
  • 电商网站维护网络销售是什么样的工作
  • 怎么给网站添加图标网页浏览器cookie
  • 贵州安顺建设主管部门网站信息可视化网站
  • 【计算几何 | 那忘算 11】旋转卡壳(附详细证明)
  • 动作识别3——mmpose和mmaction2
  • 潍坊做网站优化网站设计项目
  • 2025企业可观测平台选型指南:聚焦核心能力,构建面向未来的观测体系
  • 郑州网站建设最低价鼓楼徐州网站开发
  • java开源Socket.io服务器端长链接通信解决方案
  • 牛客2025秋季算法编程训练联赛4-基础组
  • 视频类网站怎么做软件开发专业技能
  • 具身智能-一文详解视觉-语言-动作(VLA)大模型1.前言2.VLA的进化之路:从单兵作战到三位一体3.拆解VLA的大脑:核心组件全解析 预训练视觉表征
  • 空口协议栈的介绍及CA对其的影响
  • 网站建设制作优化推广类电商文案
  • 网站空间购买价格电子商务以后能干什么
  • C语言编译预处理 | 探索C语言编译过程中的预处理环节
  • kubernetes(k8s)-扩缩容(工作负载HPA、节点)
  • 广告设计网站官网北京小程序定制开发
  • 做网站怎样收费的怎样更换网站模板
  • 狸窝转换器将MP4格式视频转换为以下格式后的大小对比:RM、RMVB、AVI、MKV、WMV、VOB、MOV、FLV、ASF、DAT、3GP、MPG、MPEG
  • 【QT/C++】Qt样式设置之CSS知识(系统性概括)
  • 《华为应用市场编程工具上架深度拆解:鸿蒙适配与合规实战指南》
  • 29.删除链表的倒数第 N 个结点