当前位置: 首页 > news >正文

2025年7月9日学习笔记——模式识别与机器学习——fisher线性回归、感知器、最小二乘法、最小误差判别算法、罗杰斯特回归算法——线性分类器

2025年7月9日学习笔记——模式识别与机器学习——fisher线性回归、感知器、最小二乘法、最小误差判别算法、罗杰斯特回归算法——线性分类器

  • 一.学习资料
  • 二.引言
    • 1.模式识别的目的:
    • 2.两步贝叶斯决策:
    • 3.基于样本直接设计分类器的三个基本要素:
  • 三.线性判别函数的基本概念
    • 1.一般表达式
    • 2.总结
  • 四.Fisher线性判别分析
    • 1.选择投影方向准则
    • 2.基本概念

一.学习资料

1.PPT:lecture02&03
2.**百度网盘笔记:**我用百度网盘分享了一篇笔记《第三章线性学习机器02_笔记》,链接:https://pan.baidu.com/fcb/s?share_uk=4105253989&share_id=euIGfoZcGxmkAkKj7qtkgvH3lLuDbq9XLUckeYb1Zlp

二.引言

1.模式识别的目的:

在特征空间中设法找到两类或多类之间的分界面,估计概率密度并不是我们的目的。

2.两步贝叶斯决策:

(1)根据样本进行概率密度估计
(2)根据估计的概率密度函数分类面

如果可以直接根据样本求分类面,可以省略对概率密度函数的估计。

1.样本为正态分布各类协方差矩阵相等的条件下,贝叶斯决策的最优分类面线性的。
2.如果知道判别函数的形式,可以设法从数据中直接估计这种判别函数中的参数。
3.即使不知道最优的判别函数是什么形式,仍然可以根据需要或者对为题的理解设定判别函数类型

3.基于样本直接设计分类器的三个基本要素:

1.确定分类器(判别函数)的类型:也就是从什么样的判别函数类(函数集)中去求解。
2.确定分类器设计的目标和准则,在确定了设计准则后,分类器设计就是根据样本从事先决定的函数集中选择在该准则下最优的函数,通常就是确定函数类中的某些参数
3.设计算法利用样本数据搜索到最后的函数参数

形式化表示:在判别函数集{g(α),α∈λ}\{g(\alpha),\alpha∈\lambda\}{g(α),αλ}中确定待定参数α∗\alpha^*α,使得准则函数L(α)L(\alpha)L(α)最小(或者最大)即L(α∗)=minL(α)L(\alpha^*)=min L(\alpha)L(α)=minL(α)

三.线性判别函数的基本概念

1.一般表达式

g(x)=wTx+w0g(x)=w^Tx+w_0g(x)=wTx+w0

(1)xxxddd特征向量,又称为样本向量
(2)www又称为权向量
(3)w0w_0w0阈值权

x={x1x2...xd},w={w1w2...wd}x=\begin{Bmatrix}x_1\\x_2\\...\\x_d\end{Bmatrix},w=\begin{Bmatrix}w_1\\w_2\\...\\w_d\end{Bmatrix}x=x1x2...xd,w=w1w2...wd

其他推导可以看教材,这里不多赘述

2.总结

总之利用线性判别函数进行决策,就是利用一个超平面把特征空间分割成两个决策区域。

1.把所有样本都投影到一个方向上
2.在这个一维空间中确定一个分类的与之
过这个阈值点投影方向垂直的超平面就是两类的分类面。

四.Fisher线性判别分析

1.选择投影方向准则

使投影后两类像个尽可能远,而同时每一类内部的样本又尽可能聚集。

2.基本概念

训练样本集χ={x1,x2,...,xN}\chi=\{x_1,x_2,...,x_N\}χ={x1,x2,...,xN}
写公式太麻烦了,自己看书吧,剩下的在百度网盘的笔记里

http://www.dtcms.com/a/271835.html

相关文章:

  • 【TCP/IP】1. 概述
  • AI赋能生活:深度解析与技术洞察
  • LiteHub之文件下载与视频播放
  • 微信小程序控制空调之EMQX服务器安装与配置
  • 重新配置电脑中的环境变量
  • SpringBoot ThreadLocal 全局动态变量设置
  • 机器学习11——支持向量机上
  • 初学者对编译和链接的学习笔记(含预编译详解)
  • 广告匹配策略的智能化之路:人工智能大模型的方法和步骤
  • 多模态大语言模型arxiv论文略读(156)
  • vivo Pulsar 万亿级消息处理实践(3)-KoP指标异常修复
  • 快速上手MongoDB与.NET/C#整合
  • 【AI大模型】LLM模型架构深度解析:BERT vs. GPT vs. T5
  • searxng 对接openweb-UI实现大模型通过国内搜索引擎在线搜索
  • 搜索引擎vs向量数据库:LangChain混合检索架构实战解析
  • 计算机视觉 之 数字图像处理基础
  • 基于 SpringBoot + Vue 的 IT 技术交流和分享平台的设计与实现
  • TCP-与-UDP-协议详解:原理、区别与应用场景全解析
  • 北斗舞动在线监测装置:电力安全的“智慧守护者”
  • SpringMVC @ExceptionHandler 典型用法
  • 了解去中心化金融在现代经济中的作用——安全交易新时代
  • 编写bat文件自动打开chrome浏览器,并通过selenium抓取浏览器操作chrome
  • 双指针-18.四数之和-力扣(LeetCode)
  • linux系统---ISCSI存储服务
  • Language Models are Few-Shot Learners: 开箱即用的GPT-3(二)
  • 节点小宝:手机图片备份至电脑功能实测体验
  • 同一类型,每条数据,执行不同逻辑
  • 偏振相机,偏振图像是怎么样的
  • WebGPU了解
  • 智能体决策机制深度剖析:ReAct、Plan-and-Execute与自适应策略