当前位置： 首页 > news >正文

【感知机】感知机(perceptron)学习算法的收敛性

news 2025/8/8 15:42:49

感知机( perceptron )是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面，是一种判别模型。感知机是神经网络与支持向量机的基础。

感知机学习旨在求出将训练数据进行线性划分的分离超平面。

感知机学习思路：

1.导入基于误分类的损失函数

2.利用梯度下降法对损失函数进行极小化

3.代入参数得到感知机模型。

感知机学习算法分类：

原始形式、对偶形式。

算法的收敛性

算法原始形式收敛：意味着经过有限次迭代可得到一个将训练数据集完全正确划分的分离超平面

为便于推导，记\hat{w}=(w^{T},b)^{T},扩充输入向量，记\hat{x}=(x^{T},1)^{T},则有\hat{w}\in\mathbb{R}^{n+1},\hat{x}\in\mathbb{R}^{n+1}，\hat{w}\cdot\hat{x}=w\cdot x+b

（Novikoff）定理 设训练集T=\left \{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \right \}线性可分，其中x_i\in\mathbb{R}^{n},y_i\in\left \{ +1,-1 \right \}，则：

（1）存在满足\left \| \hat{w} \right \|=1的超平面\hat{w}\cdot\hat{x}=w\cdot x+b=0将训练数据集完全正确分开，且存在\gamma >0,对所有i=1,2,...,N,

y_i(\hat{w}\cdot\hat{x})=y_i(w\cdot x_i+b)\geq \gamma

（2）令R=\underset{1\leq i\leq N }{max}\left \| \hat{x_i} \right \|,则感知机学习算法在训练数据集上的误分类次数k满足不等式

k\leq (\frac{R}{\gamma })^{2}

定理表明，当训练数据集线性可分时，经过有限次搜索可以找到将训练数据集完全正确分开的超平面，即算法的原始形式收敛。

上篇：【感知机】感知机(perceptron)学习算法的对偶形式

http://www.dtcms.com/a/320343.html

相关文章：

  • 【Unity3D实例-功能-镜头】第三人称视觉-镜头优化
  • 基于深度学习的污水新冠RNA测序数据分析系统
  • Linux机器可直接使用的自动化编译文件
  • AGV_ads通讯exe的创建
  • Java日志技术：从基础到实战
  • 蒙文OCR识别技术难点实现及应用场景剖析
  • Transformer：Attention is all you need
  • HCIP | BGP综合实验报告册
  • PMP项目管理：理解PMP、PMP学什么 / 适合谁学 / Project Management Professional / 项目管理专业人士
  • uat是什么
  • Day32--动态规划--509. 斐波那契数，70. 爬楼梯，746. 使用最小花费爬楼梯
  • 华为服务器如何部署Mindie镜像
  • 俄文识别技术，高精度识别，支持多场景多平台
  • 天猫商品评论API技术指南
  • 如何在NVIDIA H100 GPU上用Ollama以最高性能运行大语言模型
  • 2025数字马力一面面经（社）
  • 【2025最新版】火狐浏览器（官方版）安装-附教程
  • Ubuntu 22 下脚本登录MFA堡垒机
  • 一个自动定位并查询天气的工具（c语言）
  • 八股文智力题
  • 目标检测数据集 - 高架视角道路车辆检测数据集下载「包含VOC、COCO、YOLO三种格式」
  • 为什么会有反射
  • js中的设计模式
  • UnivNet论文分析（20210615）
  • Flutter报错...Unsupported class file major version 65
  • 接口测试-mock测试
  • sigfillset 函数详解
  • Dash 中的 dcc.Clipboard 组件详解：实现一键复制功能
  • Caffeine 三种过期策略详解
  • Git 文件删除操作指南：管理与恢复已删除文件