当前位置: 首页 > news >正文

机器学习中的优化问题描述

文章目录

    • 机器学习中的优化问题描述
      • 局部最小vs全局最小
      • 凸集
      • 凸函数
      • 凸函数优化

参考

  • 李沐-优化算法

    https://www.bilibili.com/video/BV1bP4y1p7Gq?vd_source=7937b7ae341caaf55cd0ac02b03193a1

  • b站

    https://www.bilibili.com/video/BV1t47TzfE8R?vd_source=7937b7ae341caaf55cd0ac02b03193a1

机器学习中的优化问题描述

  • 一般形式
    m i n i m i z e f ( x ) s u b j e c t t o x ∈ C \mathbf{minimize}\quad f(x) \quad subject to \mathbf{x} \in C minimizef(x)subjecttoxC
  • 目标函数 f : R n → R f: \mathbb{R}^n \rightarrow \mathbb{R} f:RnR
  • 限制集合例子

C = { x ∣ h 1 ( x ) = 0 , … , h m ( x ) = 0 , g 1 ( x ) ≤ 0 , … , g r ( x ) ≤ 0 } C=\left\{\mathbf{x} \mid h_1(\mathbf{x})=0, \ldots, h_m(\mathbf{x})=0, g_1(\mathbf{x}) \leq 0, \ldots, g_r(\mathbf{x}) \leq 0\right\} C={xh1(x)=0,,hm(x)=0,g1(x)0,,gr(x)0}

  • 如果 C = R n C=\mathbb{R}^n C=Rn 那就是不受限

局部最小vs全局最小

  • 全局最小 x ∗ : f ( x ∗ ) ≤ f ( x ) ∀ x ∈ C \mathbf{x}^*: f\left(\mathbf{x}^*\right) \leq f(\mathbf{x}) \quad \forall \mathbf{x} \in C x:f(x)f(x)xC

  • 局部最小 x ∗ \mathbf{x}^* x :存在 ε \varepsilon ε ,使得 f ( x ∗ ) ≤ f ( x ) ∀ x : ∥ x − x ∗ ∥ ≤ ε f\left(\mathbf{x}^*\right) \leq f(\mathbf{x}) \quad \forall \mathbf{x}:\left\|\mathbf{x}-\mathbf{x}^*\right\| \leq \varepsilon f(x)f(x)x:xxε

  • 使用迭代优化算法来求解,一般只能保证找到局部最小image-20250606223331259

凸集

  • 一个 R n \mathbb{R}^n Rn 的子集 C C C 是凸当且仅当
    α x + ( 1 − α ) y ∈ C ∀ α ∈ [ 0 , 1 ] ∀ x , y ∈ C \begin{gathered} \alpha \mathbf{x}+(1-\alpha) \mathbf{y} \in C \\ \forall \alpha \in[0,1] \forall \mathbf{x}, \mathbf{y} \in C \end{gathered} αx+(1α)yCα[0,1]x,yC

  • 第一个是非凸的,后面两个是凸的image-20250606224208989

  • 两个凸集的交集是凸的image-20250606224316574

  • 两个凸集的并集不一定是凸的image-20250606224349435

凸函数

  • 函数 f : C → R f: C \rightarrow \mathbb{R} f:CR 是凸当且仅当

    f ( α x + ( 1 0 − α ) y ) ≤ α f ( x ) + ( 1 − α ) f ( y ) ∀ α ∈ [ 0 , 1 ] ∀ x , y ∈ C \begin{aligned} & f\left(\alpha \mathbf{x}+\left(1_0-\alpha\right) \mathbf{y}\right) \quad \leq \alpha f(\mathbf{x})+(1-\alpha) f(\mathbf{y}) \\ & \forall \alpha \in[0,1] \quad \forall \mathbf{x}, \mathbf{y} \in C \end{aligned} f(αx+(10α)y)αf(x)+(1α)f(y)α[0,1]x,yC

  • 如果 x ≠ y , α ∈ ( 0 , 1 ) \mathbf{x} \neq \mathbf{y}, \alpha \in(0,1) x=y,α(0,1) 时不等式严格成立那么叫严格凸函数image-20250606224858164

凸函数优化

  • 如果代价函数 f f f 是凸的,且限制集合 C C C 是凸的,那么就是凸优化问题,那么局部最小一定是全局最小

  • 严格凸优化问题有唯一的全局最小image-20250606225154022

  • 凸函数和非凸函数的例子

    凸函数

    • 线性回归 f ( x ) = ∣ ∣ W x − b ∣ ∣ 2 2 f(x) = ||Wx-b||^2_2 f(x)=∣∣Wxb22
    • Softmax回归

    非凸函数:其他

    • MLP、CNN、RNN、attention
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.com/a/241800.html

相关文章:

  • Python列表:高效灵活的数据存储与操作指南
  • 讲讲JVM的垃圾回收机制
  • 基于大模型的输尿管下段结石诊疗全流程预测与方案研究
  • 项目课题——智能花盆系统设计
  • 核心机制:面向字节流
  • 业务:资产管理功能
  • Vim 调用外部命令学习笔记
  • 新一代 Rust Web 框架的高性能之选
  • 【数据结构】图算法(代码)
  • 微信小程序中的计算属性库-miniprogram-computed
  • 全新AI驱动Workspace Security 套件发布!Fortinet 电子邮件安全产品矩阵升级
  • docker compose v2版本创建和运行容器
  • 第九章 窗口看门狗(WWDG)
  • 在 macOS 上搭建 Flutter 开发环境
  • 论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(四)
  • 企业产品网络安全日志6月10日-WAF资费消耗排查
  • 【FFmpeg学习(2)】视频概念
  • 【FFmpeg学习(1)】图像表示
  • 如何将数据从 iPhone 传输到笔记本电脑
  • HTML盒子模型
  • 《网络世界的“隐形窥探者”:深度剖析网络监听》
  • SCAU期末笔记 - 数据分析与数据挖掘题库解析
  • 基于GeoTools求解GeoTIFF的最大最小值方法
  • AI时代,数据分析师如何成为不可替代的个体
  • 访问服务器项目,服务器可以ping通,但是端口访问不到
  • 通义灵码 AI IDE 上线!智能体+MCP 从手动调用工具过渡到“AI 主动调度资源”
  • 基于服务器使用 apt 安装、配置 Nginx
  • 如何保障服务器的安全
  • synchronized 学习
  • “机器学习中的‘Hello World‘:为什么我们总用MNIST数据集,以及何时该放弃它“