pcrct值怎么分析(通俗易懂的讲解奇异值分解)
pcrct值怎么分析(通俗易懂的讲解奇异值分解)
2024-11-22 03:54:28  作者:我型你不行  网址:https://m.xinb2b.cn/tech/oyu419382.html


图片来自Unsplash上的Dave

0.本教程包含以下内容

特征分解

对称矩阵的特征分解

奇异值分解(The Singular Value Decomposition,SVD)

主成分分析(Principal Component Analysis ,PCA)——特征提取

1.特征分解

首先,我们简单回顾下特征值和特征向量的定义。在几何学中,矩阵A的特征向量是指一个经过与矩阵A变换后方向保持不变的向量(其中,假设特征值均为实数)。而特征值为在这个变化中特征向量的比例因子。具体可表示如下:


矩阵A与特征向量x的变换等于特征向量x与特征值λ的乘积

对于一个3×3维的矩阵A,我们可以将矩阵A与其特征向量x的变换理解为将矩阵A与另一个矩阵x的乘积。这是因为矩阵A与其特征向量x的变换等同于矩阵A的每一行与特征向量x的变换,从而矩阵之间的乘积可以表示为其特征值与特征向量的乘积。此时我们便能够分离出矩阵的特征值和特征值向量,并将其放在两个矩阵之中。具体过程如下:


通过上面等式,我们可以推出以下等式:


如果一个n×n维矩阵的n个特征向量均是线性无关的,则这个矩阵能够被对角化

观察上式,我们能够看到一个n×n维的矩阵可以由三个独立的矩阵构成,即一个由特征向量组成的n×n维的矩阵X和矩阵X的逆,以及一个由特征值组成的n×n维的对角矩阵Λ。而这个过程也被称为矩阵的特征分解。

2.对称矩阵的特征分解

对称矩阵有一个非常重要的性质:它的特征向量是正交向量。为了证明这个性质,我们首先假设有以下两个互不相等的特征值和特征向量,如下:


通过下面的等式,我们能够推出λ1(x1*x2)= λ2(x1*x2):


根据前面步骤的结果,我们可以得到如下等式:


我们一开始便假设特征值λ1与λ2并不相等。因此特征值λ1与λ2均不为0,从而x1*x2也不可能等于0——所以这个特征向量是正交的。这揭示了一个重要的结论:对称矩阵能够被分解为两个正交特征向量组成的矩阵与对角矩阵的乘积。并且,对称矩阵的特征值均为实数。


对称矩阵的特征向量具有正交性

3.奇异值分解(SVD)

特征分解适用于n×n维的方形矩阵,而由于m×n维的矩形矩阵在变换过程中会改变矩阵原本的维数,从而对于矩形矩阵并没有对其特征值进行过定义。


因此对于一个m×n维的矩形矩阵,我们能够使用下面的方法对其进行特征分解——即奇异值分解:


其中,矩阵UV是正交矩阵,Σ表示一个包含有奇异值的对角阵。需要说明的是,VU中的列向量分别作为矩阵A的行空间和列空间中的基向量。

接下来,我们将对其细节进行深入介绍。其实SVD的主要目标就是为了找到三个参数:矩阵v,矩阵u和奇异值σ,其中矩阵vu都是正交向量且满足下面等式:


一个n维的列向量v经过矩阵A的变换等于一个m维的行向量u经过奇异值σ的缩放。

与之前在特征分解部分的步骤相似,我们也可以将上面的方程用矩阵形式表示出来,从而可以得到矩阵A奇异值分解的表达式。

但是,矩阵v,矩阵u和奇异值σ应该如何求取呢?我们可以通过矩阵乘积(AAᵀ和AᵀA)的方式从方程的两边来分别消除VU来获得,具体方法如下:



这些步骤看起来是不是很熟悉…

的确,通过对对称矩阵AAᵀ和AA进行奇异值分解,这个结果看起来几乎与对对称矩阵进行特征分解是相同的。因此,找到了矩阵U和矩阵V,那么矩阵AAᵀ和AA的特征分解就能很容易被执行了,并且相应的矩阵Q也能够被找到。对于σ,他们即是矩阵AAᵀ也是矩阵AA的均方根特征值,如下所示:


其中值得注意的是,按照习惯奇异值σ在矩阵Σ中总是按递减的顺序进行排列——即第一行放最大的奇异值,最小的奇异值放在最后一行。如果需要与矩阵Σ中的σ一一对应,那么就需要对矩阵U和矩阵V中的列进行重新排列。

现在,我们有了一件非常令人兴奋的事,我们得到了一种可以分解任何矩阵的方法,而不仅仅局限于对方阵进行特征分解。我们现在可以将任何矩阵分解成两个正交矩阵和一个对角矩阵,其中矩阵U的维度为m×r,对角阵Σ的维度为r×r和矩阵V的维度为r×n,其并且矩阵A的值为r。

4.主成分分析法(PCA)——特征提取

PCA在机器学习中是一种常用的无监督学习算法,它通过构建一种被称为主成分的变量,并将所用到的所有向量映射到由主成分变量构建的空间上去,从而能够减少数据的维度。

主成分分析优点:

1. 减少模型的训练时间——使用了更少的数据集;

2. 数据更容易可视化——对于高维数据,通过人工的方式去实现可视化是比较困难的。

3. 一些情况下能减小过拟合度——通过减少变量来降低模型的过拟合度。

对于实例,我们使用主成分分析法对一个统计表进行了分析。这里为了介绍理论基础,以一个小数据集作为例子进行讲解:


矩阵A有5行3列

我们测试了矩阵A的相关性,从中我们能够发现矩阵A的相关矩阵为一个对称阵:


矩阵A的相关性分析

对矩阵A进行SVD,能够得到矩阵UΣV。需要额外说明的是:所有奇异值的平方和与数据集的总体方差相等。




对协方差矩阵A采用下式进行计算:


1.矩阵A是经过标准化后的矩阵,它的均值为0;2.m是样本数量

从直观上可看出,总方差=协方差矩阵AA的迹=矩阵AA的特征值之和=奇异值平方之和。通过奇异值分解得到的u即是n维空间中的主成分,第i个主成分的重要性可由下式计算所得(通过计算在方差中的比例来确定):


奇异值越大=得到的方差越多=包含的信息就越多

回顾我们例子中的对角矩阵Σu1对应的最大奇异值为17.7631,占数据集中方差的比例为74%。因此,通过把5个样本向量映射到u1,在没有损失任何信息的情况下,所需分析矩阵A的维度从3维下降到了1维。

作者:李爱(Li Ai)

  • 单招单考300分可以上大学吗(单招更简单的)
  • 2024-11-22单招更简单的目录:1、什么是单招2、单招之后可以高考么3、单招的优势4、什么样的学生适合参加单招5、单招的前景6、辽宁42所单招院校什么是单招单招是国家授权高职院校独立组织考试录取的一种方式,必须于高考前完成录取。
  • 好听的游戏网名带符号(比较好听的带符号的网名)
  • 2024-11-22比较好听的带符号的网名ぜ樱子ぜ浅执ソ半离兮栀璃〞鸢年清风乄入梦ぃ萬千寵愛╮甜心◎布丁冰封ゞ绝恋风梭乄断月魂风蓅иé尙べ繁星つ汐尐顔﹏恍若√隔世独葔★角落缺氧ぺ乖張夙メ飏逆天ぷ飞翔洛洛√天使弈剑の千里夏日⊕樱花视觉灬禁区浅蓝。
  • 蓬头垢面是什么意思(蓬头垢面的解释)
  • 2024-11-22蓬头垢面的解释意思是头发蓬乱,脸上很脏旧时形容贫苦人生活生活条件很坏的样子也泛指没有修饰出自《魏书·封轨传》《魏书·封轨传》:“君子正其衣冠,尊其瞻视,何必蓬头垢面,然后为贤?”南北朝·颜之推《颜氏家训》:“子则草。
  • 当你把孩子当成蜗牛来养的时候:被我们当成垃圾的落叶
  • 2024-11-22当你把孩子当成蜗牛来养的时候:被我们当成垃圾的落叶转眼北方各地就进入了深秋,许多树上的叶子都变成了金黄色,一阵风吹来,树叶就散落一地这些落叶在大多数人的眼里,没有一点价值,等待这些落叶的命运只有被踩踏后腐烂而在创意工作者的眼中,就不存在没有用途的事物。
  • 跑步姿势的正确呼吸方法与技巧(别让跑步败在呼吸上)
  • 2024-11-22别让跑步败在呼吸上肌肉需要氧气来保持运动,而呼吸的目的是有效地吸收氧气,排出二氧化碳在有氧心率慢跑的强度下,可以全程依靠鼻子呼吸随着运动强度的增大,仅仅通过鼻子呼吸显然无法获得足够的氧气因此,对于很多跑友来说,跑步时通。
  • 长安逸动是自己的变速箱吗(长安逸动十年对比)
  • 2024-11-22长安逸动十年对比(关键词:十年三代、模拟8档CVT、P3模块化平台)本月逸动迎来上市十周年,自2012年3月以来,历经三代车型,125万用户选择了逸动这款家庭轿车,而从2012年3月到如今整整十年过去,自主品牌车辆的。
  • 春季可以用什么嫁接桂花(春季嫁接桂花更容易成活)
  • 2024-11-22春季嫁接桂花更容易成活桂花树不仅观赏性强,其浓郁的桂花香味更是让人陶醉因此桂花是非常受花友们青睐的植物花卉之一立春以后天气逐渐变暖,待到3-5月份就可以嫁接桂花了,大家可以在这个时间段把桂花嫁接到自己喜欢的桩材上桂花的嫁接。
  • 初中沉淀有哪些(沉淀的原因是什么)
  • 2024-11-22沉淀的原因是什么AgCl(氯化银),BaSO4(硫酸钡),CaCO3(碳酸钙),BaCO3(碳酸钡),Al(OH)3(氢氧化铝),Mg(OH)2(氢氧化镁),Cu(OH)2(氢氧化铜)、,Fe(OH)3(氢氧化铁)氯。
  • 珀尔演员结局(珀尔Pearl前传92年女演员米娅)
  • 2024-11-22珀尔Pearl前传92年女演员米娅不知道有没有一起跟氧叔追《珀尔Pearl》这部电影的毫不夸张的说,女主确实杀疯了92年女演员米娅·高斯也贡献了堪称哥特式恐怖片女王级别的演技,是与甜妹小白花审美截然不同的猩红欲珠2022年9月在北美及。
  • 摄影新手们的摄影入门教学(摄影新手们的摄影入门教学)
  • 2024-11-22摄影新手们的摄影入门教学作为一名摄影新手,首先要明确自己学习摄影的目的是什么,拍摄什么主题想要零基础学习摄影,首先要把摄影方面的名称参数弄明白,在学习摄影之前还要把相机的说明书仔细的阅读一遍,以便在拍摄时对设备更加了解,方便。