当前位置: 首页 > news >正文

视觉学习——理清机器学习:分类、流程与技术家族的关系

文章目录

  • 前言
  • 一、机器学习到底是什么?
  • 二、机器学习的核心分类
    • 1. 监督学习(Supervised Learning):有老师手把手教
      • 任务类型:
      • 示例:
      • 关键:
    • 2. 无监督学习(Unsupervised Learning):自己探索数据的秘密
      • 任务类型:
      • 示例:
    • 3. 半监督学习(Semi-Supervised Learning):少量老师+大量自学
      • 示例:
    • 4. 强化学习(Reinforcement Learning):在试错中学会决策
      • 示例:AlphaGo的自我进化
  • 三、机器学习的通用流程:从问题到落地的7步
    • 步骤1:问题定义——明确“要解决什么”
    • 步骤2:数据收集与预处理——“垃圾进,垃圾出”
    • 步骤3:选择模型——“合适的才是最好的”
    • 步骤4:划分数据集——“不能既当裁判又当运动员”
    • 步骤5:训练模型——“让模型学规律”
    • 步骤6:评估模型——“模型到底好不好”
    • 步骤7:调优与部署——“让模型上线干活”
  • 四、机器学习家族的关系辨析:从原理到应用
    • 1. 机器学习 vs 深度学习:从“手动特征”到“自动特征”
      • 示例对比:图像分类
    • 2. 机器学习 vs 强化学习:从“模仿”到“探索”
      • 示例对比:训练机器人走路
    • 3. 深度学习+强化学习:强强联合的深度强化学习(DRL)
  • 总结:构建你的机器学习知识体系


前言

清晨打开手机,刷到感兴趣的新闻推荐;上班刷脸打卡,系统精准识别你的脸;电商APP弹出“你可能喜欢的商品”——这些习以为常的场景,背后都是机器学习在驱动。但你真的懂机器学习吗?它有哪些分支?和深度学习、强化学习是什么关系?如何用一套通用流程解决实际问题?

本文将从基础定义切入,拆解机器学习的核心分类,梳理通用工作流程,并用“原理+示例”讲透技术家族的关系。即使你是刚入门的小白,也能建立完整的知识框架。

一、机器学习到底是什么?

先给一个接地气的定义

机器学习是让计算机从数据中自动学习规律,无需人类显式编写所有规则,最终能对新数据做出预测或决策。

核心逻辑是:数据→模型→能力。比如垃圾邮件分类:

  • 数据:10万封带标签的邮件(“垃圾”/“非垃圾”);
  • 模型:从数据中学习“垃圾邮件”的特征(比如包含“中奖”“点击链接”等词);
  • 能力:预测新邮件是否是垃圾。

二、机器学习的核心分类

机器学习的分类逻辑很简单:看数据的标签情况是否与环境交互。我们用“老师教”“自己学”“试错学”三个场景拆解:

1. 监督学习(Supervised Learning):有老师手把手教

定义:用带标签的训练数据(输入X + 输出y)学习“输入→输出”的映射关系(f:X→y)。
核心逻辑:模型模仿“老师的答案”,学会对新输入做预测。

任务类型:

  • 分类(Classification):输出是离散类别(比如“垃圾/非垃圾”“猫/狗”)。
  • 回归(Regression):输出是连续数值(比如“房价”“销量”)。

示例:

  • 分类:用逻辑回归预测用户是否会流失(Churn)。输入是用户的“月使用时长”“付费金额”“投诉次数”,输出是0(不流失)或1(流失)。
  • 回归:用线性回归预测北京房价。输入是“面积”“房间数”“学区评分”,输出是“万元/平米”。

关键:

标签的质量决定模型上限——如果垃圾邮件的标签错了一半,模型永远学不会正确的规律。

2. 无监督学习(Unsupervised Learning):自己探索数据的秘密

定义:用无标签的训练数据,发现数据的内在结构或模式(不需要“老师”)。
核心逻辑:模型像侦探一样,从数据中挖掘隐藏的规律。

任务类型:

  • 聚类(Clustering):把相似数据分成组(比如“用户分群”)。
  • 降维(Dimensionality Reduction):减少特征数量,保留关键信息(比如“基因数据可视化”)。
  • 关联规则:发现数据中的频繁组合(比如“买尿布的人常买啤酒”)。

示例:

  • 聚类:电商平台用K-Means算法,把用户分成3群:
    ① 高价值群(月消费>1000元,浏览时长>2小时);
    ② 潜力群(月消费500-1000元,浏览时长>1小时);
    ③ 流失群(月消费<500元,30天未登录)。
    针对不同群推送个性化营销(比如高价值群推专属折扣,潜力群推满减券)。
  • 降维:用PCA(主成分分析)把1000维的基因表达数据降到2维,可视化后发现“癌症患者”和“健康人”明显分开。

3. 半监督学习(Semi-Supervised Learning):少量老师+大量自学

定义:用少量带标签数据 + 大量无标签数据训练模型(结合两者的优势)。
核心逻辑:无标签数据能帮模型学习数据的整体分布,辅助有标签数据提升性能。

示例:

医疗影像的病灶检测是个典型场景——标注病灶需要放射科专家,成本极高,只能拿到10%的带标签CT影像。这时可以用**标签传播(Label Propagation)**算法:

  • 先用10%的带标签数据训练一个初始模型;
  • 让模型“推测”无标签数据的标签(比如“这片区域可能是病灶”);
  • 把推测的标签加入训练集,重新训练模型。
    最终准确率比只用10%标签提升了30%——无标签数据帮模型学会了“正常肺部的样子”,减少了误判。

4. 强化学习(Reinforcement Learning):在试错中学会决策

定义:智能体(Agent)与**环境(Environment)交互,通过奖励信号(Reward)**学习最优策略(Policy),最大化长期累积奖励。
核心要素

  • 状态(State):环境的当前情况(比如围棋棋盘布局);
  • 动作(Action):智能体的行为(比如落子);
  • 奖励(Reward):环境对动作的反馈(比如赢棋得1,输棋得-1)。

核心逻辑:模型像小孩学走路——摔了几次(负奖励),慢慢学会保持平衡(正奖励)。

示例:AlphaGo的自我进化

AlphaGo是强化学习的经典案例:

  • 智能体:AlphaGo的AI模型;
  • 环境:围棋棋盘;
  • 状态:当前棋盘的棋子分布;
  • 动作:在某个位置落子;
  • 奖励:赢棋得1分,输棋得-1分。
    AlphaGo通过自我对弈(每天下100万盘棋),不断调整策略网络(Policy Network)和价值网络(Value Network),最终学会了“在某个状态下,落子在哪个位置能最大化赢的概率”——甚至击败了人类世界冠军李世石。

三、机器学习的通用流程:从问题到落地的7步

不管用哪种方法,机器学习的流程都是标准化的。我们用一个真实场景串起来:预测用户是否会购买某款新上线的护肤品(分类任务)。

步骤1:问题定义——明确“要解决什么”

  • 业务目标:给新用户推送护肤品广告,提升转化率;
  • 技术目标:构建分类模型,输入用户特征,输出“会购买”(1)或“不会购买”(0);
  • 关键定义:什么是“会购买”?比如7天内下单并支付。

步骤2:数据收集与预处理——“垃圾进,垃圾出”

数据质量直接决定模型性能,这一步要解决“数据脏、乱、缺”的问题:

  • 收集数据:从数据库提取用户的“性别、年龄、浏览时长、收藏次数、历史购买金额、是否关注品牌公众号”;
  • 清洗数据
    • 缺失值:浏览时长为空的用户,用均值填充(比如整体平均浏览时长是10分钟);
    • 异常值:某用户浏览时长100小时(明显错误),直接删除;
  • 特征工程:把原始数据转换成模型能理解的格式:
    • 数值标准化:用StandardScaler把年龄、浏览时长转换成“均值0、方差1”的分布(避免“年龄大”比“浏览时间长”影响更大);
    • 类别编码:性别“男/女”转换成独热编码(One-Hot Encoding)——[1,0]代表男,[0,1]代表女;
    • 衍生特征:计算“浏览时长/历史购买金额”(反映“购买意愿强度”——浏览很久但没买,可能犹豫)。

步骤3:选择模型——“合适的才是最好的”

根据任务类型选模型:

  • 分类任务:优先选逻辑回归(可解释性强,适合小数据)或随机森林(处理非线性关系好);
  • 这里选逻辑回归,因为业务需要“知道哪些特征影响购买决策”(比如“历史购买金额”越高的用户,越可能买)。

步骤4:划分数据集——“不能既当裁判又当运动员”

把数据分成3份:

  • 训练集(70%):用来拟合模型参数;
  • 验证集(20%):用来调超参数(比如逻辑回归的正则化系数C);
  • 测试集(10%):用来最终评估模型性能(避免“过拟合”——模型只记住训练数据,不会泛化)。

步骤5:训练模型——“让模型学规律”

用训练集拟合逻辑回归模型:

from sklearn.linear_model import LogisticRegression# X_train是训练集特征,y_train是训练集标签
model = LogisticRegression()
model.fit(X_train, y_train)

步骤6:评估模型——“模型到底好不好”

用验证集计算分类指标

  • 精确率(Precision):预测会买的用户中,真的买了的比例(比如0.85——85%的预测是对的);
  • 召回率(Recall):真的会买的用户中,被预测到的比例(比如0.7——70%的潜在客户没漏掉);
  • F1-Score:精确率和召回率的调和平均(0.77——综合性能不错)。

如果召回率低(比如0.5),说明很多潜在客户没被找到,可以调整模型(比如降低分类阈值,把“预测概率>0.4”算作“会买”)。

步骤7:调优与部署——“让模型上线干活”

  • 超参数调优:用GridSearchCV搜索逻辑回归的正则化系数C(比如C=0.1时,F1-Score最高);
  • 模型部署:把训练好的模型导出成pickle文件,嵌入电商系统的后端。当新用户访问时,系统实时提取用户特征,调用模型预测,给“会买”的用户推送护肤品广告。

四、机器学习家族的关系辨析:从原理到应用

很多人会混淆“机器学习、深度学习、强化学习”——其实它们是包含关系

机器学习是父类,深度学习和强化学习是子类。

1. 机器学习 vs 深度学习:从“手动特征”到“自动特征”

深度学习是机器学习的子集,核心是深层神经网络(通常≥3层)。两者的本质区别在于特征提取方式

  • 传统机器学习:需要人类手动提取特征(比如用SIFT特征做图像分类,用TF-IDF做文本分类);
  • 深度学习:自动从数据中学习特征(比如CNN的第一层学“边缘”,第二层学“纹理”,第三层学“物体部件”,最后组合成“整体物体”)。

示例对比:图像分类

  • 传统机器学习:用HOG(方向梯度直方图)提取图像特征,再用SVM分类,准确率约70%;
  • 深度学习:用ResNet-50(50层CNN)自动提取特征,准确率约95%。

为什么深度学习有效?
因为深层网络能学习层次特征(Hierarchical Features)——从低到高抽象,更符合人类的视觉感知方式。比如看到一张猫的图片:

  • 第一层:识别“竖线”“圆圈”(猫的耳朵、眼睛);
  • 第二层:识别“三角形”(猫的鼻子)、“条纹”(猫的毛);
  • 第三层:识别“猫”的整体轮廓。

2. 机器学习 vs 强化学习:从“模仿”到“探索”

强化学习也是机器学习的子集,核心差异在于数据来源学习方式

  • 数据来源:监督学习用“带标签的输入输出对”(比如“这张图是猫”);强化学习用“奖励反馈”(比如“走这步赢了,得1分”);
  • 学习方式:监督学习是“模仿”(学老师的答案);强化学习是“探索”(试不同动作,找最优策略)。

示例对比:训练机器人走路

  • 监督学习:需要给每个动作标注“正确”或“错误”(比如“抬左腿”是对的,“摔倒了”是错的),成本极高;
  • 强化学习:机器人自己尝试——摔了几次(负奖励),慢慢学会“先站稳,再迈腿”(正奖励)。

3. 深度学习+强化学习:强强联合的深度强化学习(DRL)

当深度学习的“特征提取能力”遇上强化学习的“决策能力”,会产生奇妙的化学反应:

  • AlphaGo:用CNN处理棋盘状态(高维),用强化学习(蒙特卡洛树搜索+策略梯度)学习最优落子策略;
  • OpenAI Five:用深度神经网络处理Dota 2的游戏画面(像素级),用强化学习学习团队配合,击败人类职业选手。

总结:构建你的机器学习知识体系

  1. 核心分类:机器学习分为监督(有标签)、无监督(无标签)、半监督(少量标签)、强化学习(与环境交互);
  2. 通用流程:问题定义→数据预处理→模型选择→训练→评估→调优→部署;
  3. 技术关系:深度学习是机器学习的进化(自动特征提取),强化学习是机器学习的“决策分支”(试错学习)。

附:常用算法速查表

分类常用算法典型应用
监督学习-分类逻辑回归、SVM、随机森林垃圾邮件分类、用户流失预测
监督学习-回归线性回归、XGBoost房价预测、销量预测
无监督学习-聚类K-Means、DBSCAN用户分群、异常检测
强化学习DQN、PPO、AlphaGo游戏AI、机器人控制
http://www.dtcms.com/a/600988.html

相关文章:

  • 建设网站为什么要备案只有一个页面的网站
  • 分布式专题——54 ElasticSearch集群架构生产最佳实践
  • python+django/flask的宠物用品系统vue
  • 网泰网站建设哪里可以引流到精准客户呢
  • 自相关和互相关、卷积计算流程演示
  • 淮安网站建设制作国精产品w灬源码1688说明
  • 探索K8s与AI的结合:PyTorch训练任务在k8s上调度实践
  • Linux操作系统学习之---初识网络
  • 怎么破解别人做的付费网站网络营销的应用研究论文
  • phpMyAdmin Docker 容器化部署指南
  • 集成技术如何支撑“双十一零售高峰?”
  • 如何正确下载安装官方.NET Framework 4.6?3种方法详解(附4.6.1、4.6.2版本对比)
  • 串流经验:云玩加、 Parsec、Zerotier
  • F045 vue+flask棉花病虫害CNN识别+AI问答知识neo4j 图谱可视化系统深度学习神经网络
  • 某东电商平台的MySQL面试知识点分析
  • wordpress自适应站点网站建设 甲方欠款 如何处理
  • linux本地wordpress手机优化助手怎么删除
  • CLION打开git-bash
  • 面向汽车的敏捷安全档案与开发运维(DevOps)整合方案
  • 算法基础篇:(七)基础算法之二分算法 —— 从 “猜数字” 到 “解难题” 的高效思维
  • python+django/flask的图书馆管理系统vue
  • 【ZeroRange WebRTC】ECDHE 底层原理与在 TLS 中的应用(深入解析)
  • python+django/flask+vue的基层智能化人员调度系统pycharm-计算机毕业设计
  • 《Vue项目开发实战》第三章:UNOCSS与样式化定义
  • 徐汇手机网站建设手表官方网站
  • 图解|Go语言实现 Agent|LLM+MCP+RAG
  • 分布式专题——55 ElasticSearch性能调优最佳实践
  • 深入理解HarmonyOS Calendar组件:高级日期选择实现与优化
  • 中小企业的网站建设 论文怎么免费建自己的网站
  • Qt配置安卓开发环境