当前位置： 首页 > wzjs >正文

定西谁做网站山西网络营销seo

wzjs 2025/8/22 10:10:21
定西谁做网站,山西网络营销seo,wordpress去掉导航栏,网页qq登录首页统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。 在信号处理领域,信号具有较大方差,噪声具有较小…

统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。

在信号处理领域,信号具有较大方差,噪声具有较小方差,因此,我们不难引出PCA的目标,即最大化投影方差,即让数据在主轴上投影的方差最大.

最大投影方差

推导过程

给定一组数据点\left \{ v_{1},v_{2},v_{3},... ,v_{n} \right \},其中每个向量均为列向量

中心化为\left \{ x_{1},x_{2},...,x_{n} \right \}=\left \{ v_{1}-\mu,v_{2}-\mu,... ,v_{n}-\mu \right \}

由于向量内积在几何上表示为第一个向量投影到第二个向量上的长度,又由于投影之后均值为0,因此向量_{}x_{i}在w(单位方向向量)上的投影方差可以表示为

D(x)=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{T}(x_{i}^{T}w)\\=\frac{1}{n}\sum_{i=1}^{n}w^{T}x_{i}x_{i}^{T}w\\=w^{T}(\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T})w

其中

\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T}是样本协方差矩阵,记为\Sigma,(协方差矩阵计算的是不同维度之间的协方差而不是不同样本之间的)且w是单位方向向量,有w^{T}w=1

引入拉格朗日乘子,对w求导令其等于0

L(w,\lambda )=w^{T}\Sigma w+\lambda (1-w^{T}w)\\ \frac{\partial L}{\partial w}=2\Sigma w-\lambda 2w=0\\ \Sigma w=\lambda w

此时

D(x)=w^{T}\Sigma w=\lambda w^{T} w=\lambda

即样本投影后的方差就是协方差矩阵的特征值,最佳投影方向就是最大特征值所对应的特征向量.

求解方法

(1)样本数据中心化处理

(2)求样本协方差矩阵

(3)对协方差矩阵进行特征值分解,将特征值从大到小排列

(4)取特征值前d大对应的特征向量,并将n维样本映射到d维

x_{i}^{'}=\left[\begin{array}{c} w_{1}^{T} x_{i}\\ w_{2}^{T} x_{i} \\ \vdots \\w_{d}^{T} x_{i} \end{array}\right]

降维后的信息占比

\displaystyle\eta =\sqrt{\frac{\sum_{i=1}^{d}{\lambda _{i}}^{2}}{\sum_{i=1}^{n}{\lambda _{i}}^{2}}}

最小重构距离

令

x_{i}=\sum_{k=1}^{p}(x_{i}^{T}w_{k})w_{k}表示样本投影后的坐标值

\hat{x_{i}}=\sum_{k=1}^{q}(x_{i}^{T}w_{k})w_{k}表示样本投影后降维选取前q大的坐标值

目标是令

J=\frac{1}{N}\sum_{i=1}^{N}||x_{i}-\hat{x_{i}}||^{2} 最小

展开

=\frac{1}{N}\sum_{i=1}^{N}||\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})w_{k}||^{2}\\ =\frac{1}{N}\sum_{i=1}^{N}\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})^{2}\\

由于xi已经中心化过了

=\sum_{i=1}^N\sum_{k=q+1}^p\frac1N\left((x_i-\bar x)^Tw_k \right )^2\\ =\sum_{k=q+1}^pw_k^T\Sigma w_k,\quad\text{s.t.}~w_k^Tw_k=1.

所以最小重构距离和最大投影方差是等价的

SVD角度

思路:不求样本的协方差矩阵,而是对中心化后的数据进行奇异值分解

对中心化后的数据进行奇异值分解

X_{N*P}=U\Sigma V^{T}\\

样本协方差矩阵为

S=X^{T}X=V\Sigma U^{T}U\Sigma V^{T}=V\Sigma^{2} V^{T}

对照特征值分解的S

S=GKG^{T}

得到

G=V

K=\Sigma ^{2}

从 SVD 角度看，PCA 的投影矩阵可以直接从 V 中获取。V 的列向量就是协方差矩阵 S 的特征向量，而奇异值的平方与协方差矩阵的特征值成正比。选取前 k 个右奇异向量构成投影矩阵，就能够实现数据的降维。

参考

<统计学习方法>

<百面机器学习>

(系列五) 降维1-背景_哔哩哔哩_bilibili

http://www.dtcms.com/wzjs/440999.html

相关文章：

  • 网站建设图总结化工网站关键词优化
  • wordpress分类下的所有文章加密佛山seo按效果付费
  • 自己建设网站需要多少钱一键关键词优化
  • 比特币网站建设荆州网站seo
  • 要给公司做一个网站怎么做北京新闻最新消息
  • 哪里有专做水果的网站国外黄冈网站推广软件
  • 在线做分析图的网站百度信息流平台
  • 做彩票网站犯法不如何做企业网页
  • 网站的关键词怎么设置代写文案平台
  • 日照市做网站可口可乐网络营销案例
  • 优质做网站公司磁力岛
  • 苏州网站建设联系电话武汉seo招聘
  • 有哪些做的好的营销型网站python培训
  • 网页版微信官方seo文章排名优化
  • php java开发网站建设seo规则
  • 东莞易进网络专业网站建设 网站大数据精准客户
  • 在婚纱店做网站优化网络销售真恶心
  • 网站建设中应该注意什么百度一下百度主页
  • 厦门h5建站我想在百度上发布广告怎么发
  • 网站建设开发公司地址广东最新疫情
  • 个人网站定制代写文章多少钱
  • 望城做网站百度秒收录
  • 网站建设一下需要多少费用阜新网络推广
  • wordpress评论框代码北京培训seo哪个好
  • 台山政府网站集约化建设中国十大策划公司排名
  • 建设安全员协会网站google翻译
  • 温州市城市建设档案馆网站网站链接交易
  • 网上做电商怎么做搜索引擎优化的流程
  • 个人做网站接装修活哪个网站好网站seo优化怎么做
  • 桂林生活网站自建站模板