当前位置： 首页 > wzjs >正文

衡水网站制作与推广美食网站设计模板

wzjs 2025/9/5 21:49:49
衡水网站制作与推广,美食网站设计模板,android开发教程网站,电商官方网站统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。 在信号处理领域,信号具有较大方差,噪声具有较小…

统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。

在信号处理领域,信号具有较大方差,噪声具有较小方差,因此,我们不难引出PCA的目标,即最大化投影方差,即让数据在主轴上投影的方差最大.

最大投影方差

推导过程

给定一组数据点\left \{ v_{1},v_{2},v_{3},... ,v_{n} \right \},其中每个向量均为列向量

中心化为\left \{ x_{1},x_{2},...,x_{n} \right \}=\left \{ v_{1}-\mu,v_{2}-\mu,... ,v_{n}-\mu \right \}

由于向量内积在几何上表示为第一个向量投影到第二个向量上的长度,又由于投影之后均值为0,因此向量_{}x_{i}在w(单位方向向量)上的投影方差可以表示为

D(x)=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{T}(x_{i}^{T}w)\\=\frac{1}{n}\sum_{i=1}^{n}w^{T}x_{i}x_{i}^{T}w\\=w^{T}(\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T})w

其中

\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T}是样本协方差矩阵,记为\Sigma,(协方差矩阵计算的是不同维度之间的协方差而不是不同样本之间的)且w是单位方向向量,有w^{T}w=1

引入拉格朗日乘子,对w求导令其等于0

L(w,\lambda )=w^{T}\Sigma w+\lambda (1-w^{T}w)\\ \frac{\partial L}{\partial w}=2\Sigma w-\lambda 2w=0\\ \Sigma w=\lambda w

此时

D(x)=w^{T}\Sigma w=\lambda w^{T} w=\lambda

即样本投影后的方差就是协方差矩阵的特征值,最佳投影方向就是最大特征值所对应的特征向量.

求解方法

(1)样本数据中心化处理

(2)求样本协方差矩阵

(3)对协方差矩阵进行特征值分解,将特征值从大到小排列

(4)取特征值前d大对应的特征向量,并将n维样本映射到d维

x_{i}^{'}=\left[\begin{array}{c} w_{1}^{T} x_{i}\\ w_{2}^{T} x_{i} \\ \vdots \\w_{d}^{T} x_{i} \end{array}\right]

降维后的信息占比

\displaystyle\eta =\sqrt{\frac{\sum_{i=1}^{d}{\lambda _{i}}^{2}}{\sum_{i=1}^{n}{\lambda _{i}}^{2}}}

最小重构距离

令

x_{i}=\sum_{k=1}^{p}(x_{i}^{T}w_{k})w_{k}表示样本投影后的坐标值

\hat{x_{i}}=\sum_{k=1}^{q}(x_{i}^{T}w_{k})w_{k}表示样本投影后降维选取前q大的坐标值

目标是令

J=\frac{1}{N}\sum_{i=1}^{N}||x_{i}-\hat{x_{i}}||^{2} 最小

展开

=\frac{1}{N}\sum_{i=1}^{N}||\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})w_{k}||^{2}\\ =\frac{1}{N}\sum_{i=1}^{N}\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})^{2}\\

由于xi已经中心化过了

=\sum_{i=1}^N\sum_{k=q+1}^p\frac1N\left((x_i-\bar x)^Tw_k \right )^2\\ =\sum_{k=q+1}^pw_k^T\Sigma w_k,\quad\text{s.t.}~w_k^Tw_k=1.

所以最小重构距离和最大投影方差是等价的

SVD角度

思路:不求样本的协方差矩阵,而是对中心化后的数据进行奇异值分解

对中心化后的数据进行奇异值分解

X_{N*P}=U\Sigma V^{T}\\

样本协方差矩阵为

S=X^{T}X=V\Sigma U^{T}U\Sigma V^{T}=V\Sigma^{2} V^{T}

对照特征值分解的S

S=GKG^{T}

得到

G=V

K=\Sigma ^{2}

从 SVD 角度看，PCA 的投影矩阵可以直接从 V 中获取。V 的列向量就是协方差矩阵 S 的特征向量，而奇异值的平方与协方差矩阵的特征值成正比。选取前 k 个右奇异向量构成投影矩阵，就能够实现数据的降维。

参考

<统计学习方法>

<百面机器学习>

(系列五) 降维1-背景_哔哩哔哩_bilibili


文章转载自：

http://LJEG1vKx.nhqrr.cn
http://8nDODoFz.nhqrr.cn
http://SAtLuYq8.nhqrr.cn
http://SZOS0OZg.nhqrr.cn
http://czqvatNj.nhqrr.cn
http://GKd0KnDE.nhqrr.cn
http://b7xjmE0i.nhqrr.cn
http://yaxJ5r9z.nhqrr.cn
http://ZanjC0EC.nhqrr.cn
http://M5q19eQt.nhqrr.cn
http://XLWJrbK7.nhqrr.cn
http://I4AqBZK5.nhqrr.cn
http://7KIF5Tjv.nhqrr.cn
http://ZS2AmQc7.nhqrr.cn
http://mKD3Wdjy.nhqrr.cn
http://NIpuLIDq.nhqrr.cn
http://yNleMwG6.nhqrr.cn
http://KFkraJGe.nhqrr.cn
http://URdrUwra.nhqrr.cn
http://I9TOKNOo.nhqrr.cn
http://kFCDqVtX.nhqrr.cn
http://ApDZwOZG.nhqrr.cn
http://MXhXoS0w.nhqrr.cn
http://F7052H1V.nhqrr.cn
http://Skevbnvr.nhqrr.cn
http://TdIbA5NF.nhqrr.cn
http://6Ts6Dtpb.nhqrr.cn
http://WhiRXhgX.nhqrr.cn
http://OZ5Fonaj.nhqrr.cn
http://PYWtauWZ.nhqrr.cn
http://www.dtcms.com/wzjs/622982.html

相关文章：

  • 网站宣传的手段有哪些wordpress 友情链接 书签
  • winscp怎么做网站重庆最新通告
  • python网站开发优缺点公司名字变了网站备案
  • 网站建设前台后台设计乐清网站制作推广
  • 灯箱网站开发广州教育网站建设
  • 移动网站技术百度网址大全旧版安装
  • 医院如何做网站策划淮南app
  • 简单网站建设官网网站建设方案企业
  • 中瑞网络网站建设流程龙岩做网站龙岩网页设计
  • qq临时会话网站有做lol直播网站
  • 中国小康建设网 是个什么网站查询创意设计素材的软件
  • 博客网站做啥好福建百益建设集团有限公司网站
  • 莆田网站开发青岛网络工程优化
  • 广州陈村网站建设网站打印模板制作
  • 村建站全称医疗网站搭建
  • 南昌做兼职的网站产品建站工具
  • 网站建设提供空间什么意思app 软件开发
  • 苏州公司网站开发软件定制开发是什么意思
  • 旅游微网站建设莱芜都市网旗下论坛
  • 微网站建设需付费吗杭州 网站建设公司
  • 网站建立公司四川好用的黄页网
  • 建站模版安卓开发平台有哪些
  • 营销策划方案案例网址seo分析
  • 美食网站制作模板一级消防工程师考试报名
  • 关于网站开发的一些论文免费做微信链接的网站
  • 建设网站和备案设置字体颜色的网站
  • 网站开发最强工具活动策划案怎么写
  • 电子网站建设ppt模板佛山百度推广公司
  • asp响应式h5网站源码wordpress如何接入h5
  • 网站建设 专项资金变更找企业名录的网站