机器学习残差计算(机器学习降维方法)
机器学习残差计算(机器学习降维方法)
2024-11-05 12:12:18  作者:挽风叙旧  网址:https://m.xinb2b.cn/know/jof183881.html

主成分分析(principal component analysis,PCA)是机器学习里常用的无监督学习方法。这个方法利用正交变换,将由线性相关变量表示的观测数据转换为由少数几个线性无关变量表示的数据,线性无关的变量称为主成分。主成分的个数通常少于原始变量的个数,所以主成分分析属于降维方法。

主成分分析这一方法主要用来分析数据的基本结构,即数据中变量之间的关系,是数据分析的有力工具,也可以用于其他机器学习方法的预处理,它是多元统计分析中的经典方法。

为什么要求变量之间线性无关?

如果数据之中的某些维度之间存在较强的线性相关关系,那么样本在这些维度上提供的信息有就会一定地重复,所以希望数据各个维度之间是不相关的 (也就是正交的)。

直观解释


如图,考虑二维情形,假如x_1和x_2是两个数据变量,图中每个点表示一个样本点,可以看出,这些数据分布在一个以原点为中心的椭圆中,很明显这两个变量是线性相关的,因为固定了一个变量后,另外一个变量的取值不是随机的。

主成分分析对数据做正交变换,具体地,对原坐标系进行旋转变换,将数据在新的坐标系中表示。新的变量是y_1和y_2。可以看出,新的坐标系中,椭圆的长短轴分别对应两个新的坐标轴。为什么这样做呢?因为主成分分析选择方差最大的方向作为第一主成分,也就是长轴对应的方向;其次选择方差第二大,且与第一主成分线性无关的方向,即正交的方向,作为第二主成分,即短轴。

在新的坐标系里,数据中的变量是线性无关的。

样本主成分分析

求解主成分分析的思路就是求得原变量的一系列线性变换,使得新变量y_1(第一主成分)的方差最大,y_2(第二主成分)的方差是和y_1不相关的原变量的所有线性变换中方差最大的,然后在和y_1、y_2线性无关的条件下,分别求y_3,y_4...。

我们下面简单介绍对样本的主成分分析算法。

对n个观测数据样本进行规范化处理,得到规范化数据矩阵,表示为X。根据规范化数据矩阵,计算样本的相关矩阵R = 1/(n-1)*X*X^T求样本相关矩阵R的n个特征值lambda_1,lambda_2,···lambda_n和对应的n个单位特征向量a_1,a_2,···a_n,每个特征值除以所有特征值的和就是这个主成分对应的方差贡献率。我们要选取多少个主成分呢? 假如选取前k个, 一般要求k个主成分的累计方差贡献率(即方差贡献率之和)在70%到80%,这就说明这些主成分保留原数据的信息量在70%到80%。因此,计算累计方差贡献率,再决定k的大小。求解k个样本主成分。y_i = a_i^T*x;数据分析

得到k个主成分后,就可以对主成分进行分析,可以通过计算主成分和原变量的相关系数(称为因子负荷量),来分析哪个原变量和主成分的相关性最高。比如在考试成绩的数据中,每个科目都是原变量,求得第一主成分后,假如物理和第一主成分的因子负荷量最高,说明物理对第一主成分影响最大。怎么分析要结合具体的计算结果和具体的例子。

扩展

可以通过核方法隐式地在高维空间中进行主成分分析,相关的方法是核主成分分析。

参考资料:《统计学习方法(第二版)》,李航,清华大学出版社;

欢迎大家在评论区讨论,如有错误,欢迎指正,多谢。

喜欢的可以关注一波小编哇,一起讨论,一起学习进步!您的支持,是小编创作的动力!

  • 霍建华颜值变化历史(从白豆腐到)
  • 2024-11-05从白豆腐到近日,“老干部”霍建华被曝光将出演特工大片,从曝光的照片看,霍建华一身酷帅西装,不苟言笑的样子极具酷帅特工的特质,“老干部”又要转型了?很多粉丝表示特别的期待霍建华出道以来的影视作品是可以分阶段的出道。
  • 巩汉林现状采访(你到底得罪了谁)
  • 2024-11-05你到底得罪了谁都说文体不分家,可前段时间,文艺界和体育圈却来了一场的“冯巩之争”,高潮迭起,看点十足乍一看,还以为是冯巩老师出了什么事;仔细一瞧,才知道是小品演员巩汉林和国足队员冯潇霆的论战起因并不复杂,是巩汉林在。
  • 夸赞一个人帅的搞笑句子(夸赞一个人帅怎么说)
  • 2024-11-05夸赞一个人帅怎么说我又对着镜子仔细照了照,对我这长相真正放心,实在挑不出一点毛病来有一天,我上街,突然一群人把我围住指着说我帅,我说我不帅,他们就打我,还说我虚伪少年坐在盛开的樱花树下,头发黑玉般有淡淡的光泽,脖颈处的。
  • 女主农家种田文推荐(种田文父母双亡)
  • 2024-11-05种田文父母双亡今日推荐种田文:父母双亡,家贫如洗,女主:为养活弟妹,进空间开荒种田《花田空间:农门长姐俏当家》作者:花千树小说简介:种田文:父母双亡,家贫如洗,女主:为养活弟妹,进空间开荒种田盛玉萱一觉醒来,变成了。
  • 杨如风散文作品(中华文学杂志社社长杨如风先生的诗歌水)
  • 2024-11-05中华文学杂志社社长杨如风先生的诗歌水请大家长按图片中的二维码进入喜马拉雅听云祥诵读杨如风先生的《水》,是他的新书《小龙三背》第一册《毕摩经》中的一首诗歌语言高度凝炼,唯美在闪烁着诗人才华的同时,也绽放浪漫、善良、博爱的情怀,值得细细品味。
  • windows xp怎么升级成win10(老旧笔记本升级)
  • 2024-11-05老旧笔记本升级早在十来年前,凡用过笔记本电脑的人,都一定饱尝了笔记本那种迟缓卡顿的滋味如今电脑升级飞快,过去的笔记本电脑基本都处于闲置状态了,正所谓鸡肋,食之无味,弃之可惜最近,本人因有款软件不宜在台式电脑上操作,。
  • 陕西紧急寻人公告(陕西本土新增1加11)
  • 2024-11-05陕西本土新增1加11陕西本土新增“111”涉及6市10月2日0-24时,新增报告本土确诊病例1例(西安)、本土无症状感染者11例(西安4例、渭南3例、宝鸡1例、商洛1例、延安1例、榆林1例)解除隔离医学观察4例截至10月。
  • 西径山公交车(径山公交出行最新攻略)
  • 2024-11-05径山公交出行最新攻略径山寺位于杭州余杭径山镇,是最近很红的网红打卡地一般自驾出行比较方便,杭州城西出发大约50分钟可以到达径山寺径山寺附近有两大停车点自驾你可以导航驾驶到“大径山旅游集散中心”,乘免费接驳车上径山或者驾车。
  • 丰台区西站地铁规划(丰台站开通在即)
  • 2024-11-05丰台站开通在即在北京西南三环外,历经三年半的建设,全新的丰台火车站终于落成这座铁路枢纽的亮点颇多,587米长的中央光庭,不仅改善了采光通风问题,还将候车厅用自然光分成南北两部分;建筑风格虽然简洁,但细节处处蕴含着北。
  • 新宝骏310w价目表(平民瓦罐再升级)
  • 2024-11-05平民瓦罐再升级说起旅行车,因为英文名称wagon,所以国内素有瓦罐之名,目前国内在售的旅行车,大多都是合资品牌车型,而且一般价格比较高,直到后来宝骏推出了一辆真正意义的“平民瓦罐”——310W,让更多人圆了瓦罐梦虽。
  • 刘老根4范伟片段 刘老根4范伟为角色剃光头
  • 2024-11-05刘老根4范伟片段 刘老根4范伟为角色剃光头4月26日下午,优酷合家欢剧场发布了《刘老根4》的先导片,确定将于5月1日正式上线《刘老根4》的剧情与第三部是衔接的,除了原班人马悉数回归之外,还有宋小宝、林更新的惊喜加盟林更新出演赵家班作品应该算是。