机器学习残差计算(机器学习降维方法)
机器学习残差计算(机器学习降维方法)
2024-11-08 02:32:39  作者:挽风叙旧  网址:https://m.xinb2b.cn/tech/jof183881.html

主成分分析(principal component analysis,PCA)是机器学习里常用的无监督学习方法。这个方法利用正交变换,将由线性相关变量表示的观测数据转换为由少数几个线性无关变量表示的数据,线性无关的变量称为主成分。主成分的个数通常少于原始变量的个数,所以主成分分析属于降维方法。

主成分分析这一方法主要用来分析数据的基本结构,即数据中变量之间的关系,是数据分析的有力工具,也可以用于其他机器学习方法的预处理,它是多元统计分析中的经典方法。

为什么要求变量之间线性无关?

如果数据之中的某些维度之间存在较强的线性相关关系,那么样本在这些维度上提供的信息有就会一定地重复,所以希望数据各个维度之间是不相关的 (也就是正交的)。

直观解释


如图,考虑二维情形,假如x_1和x_2是两个数据变量,图中每个点表示一个样本点,可以看出,这些数据分布在一个以原点为中心的椭圆中,很明显这两个变量是线性相关的,因为固定了一个变量后,另外一个变量的取值不是随机的。

主成分分析对数据做正交变换,具体地,对原坐标系进行旋转变换,将数据在新的坐标系中表示。新的变量是y_1和y_2。可以看出,新的坐标系中,椭圆的长短轴分别对应两个新的坐标轴。为什么这样做呢?因为主成分分析选择方差最大的方向作为第一主成分,也就是长轴对应的方向;其次选择方差第二大,且与第一主成分线性无关的方向,即正交的方向,作为第二主成分,即短轴。

在新的坐标系里,数据中的变量是线性无关的。

样本主成分分析

求解主成分分析的思路就是求得原变量的一系列线性变换,使得新变量y_1(第一主成分)的方差最大,y_2(第二主成分)的方差是和y_1不相关的原变量的所有线性变换中方差最大的,然后在和y_1、y_2线性无关的条件下,分别求y_3,y_4...。

我们下面简单介绍对样本的主成分分析算法。

对n个观测数据样本进行规范化处理,得到规范化数据矩阵,表示为X。根据规范化数据矩阵,计算样本的相关矩阵R = 1/(n-1)*X*X^T求样本相关矩阵R的n个特征值lambda_1,lambda_2,···lambda_n和对应的n个单位特征向量a_1,a_2,···a_n,每个特征值除以所有特征值的和就是这个主成分对应的方差贡献率。我们要选取多少个主成分呢? 假如选取前k个, 一般要求k个主成分的累计方差贡献率(即方差贡献率之和)在70%到80%,这就说明这些主成分保留原数据的信息量在70%到80%。因此,计算累计方差贡献率,再决定k的大小。求解k个样本主成分。y_i = a_i^T*x;数据分析

得到k个主成分后,就可以对主成分进行分析,可以通过计算主成分和原变量的相关系数(称为因子负荷量),来分析哪个原变量和主成分的相关性最高。比如在考试成绩的数据中,每个科目都是原变量,求得第一主成分后,假如物理和第一主成分的因子负荷量最高,说明物理对第一主成分影响最大。怎么分析要结合具体的计算结果和具体的例子。

扩展

可以通过核方法隐式地在高维空间中进行主成分分析,相关的方法是核主成分分析。

参考资料:《统计学习方法(第二版)》,李航,清华大学出版社;

欢迎大家在评论区讨论,如有错误,欢迎指正,多谢。

喜欢的可以关注一波小编哇,一起讨论,一起学习进步!您的支持,是小编创作的动力!

  • 手游推荐2022年7月(手游每日榜单2022年4月1日)
  • 2024-11-08手游每日榜单2022年4月1日每日更新游戏榜单和新鲜资讯,关注我不迷路关注我的都棒棒哒!今天是2022年4月1日,首先来看看今天的畅销榜单变化:今天具体的榜单如下:网易《率土之滨》今天畅销榜排名第10这是一款经典SLG手游雷霆游戏。
  • 秦昊曾舜晞联动此十年彼十年(七仔说八卦杨幂)
  • 2024-11-08七仔说八卦杨幂大眼爆红后膨胀过一段时间,甚至敢背着老婆乱来,但现在出了负面新闻,只能靠秀恩爱来缓解,很是服从老婆的命令,他的工作人员也都由老婆指挥杨幂接下来会登上《费加罗》杂志封面,目前定在五月刊由成毅,张予曦,付。
  • 英语阅读怎么才能考高分(孩子英语每次都是80分以下)
  • 2024-11-08孩子英语每次都是80分以下孩子英语每次都是80分以下,拼命背了1个多月单词还是只考了77分,拿到卷子嚎啕大哭但手把手陪着练阅读打卡,学了两遍阅读技巧之后,孩子马上就开窍了,英语成绩从77分提到了113分!青岛的雯雯妈妈解释说:。
  • 卡塔尔世界杯西班牙阵容如何(卡塔尔世界杯32强巡礼)
  • 2024-11-08卡塔尔世界杯32强巡礼上一期,奶思给大家介绍了“袋鼠军团”澳大利亚,今天奶思要给大家介绍的是2022年卡塔尔世界杯E组的首支队伍——西班牙队,一起来了解下这支热情四射的西班牙足球队吧!地理位置:欧洲国家首都:马德里人口:4。
  • 一条普通的牛仔裤也能穿出高级感(混搭赋予牛仔裤新的生命力)
  • 2024-11-08混搭赋予牛仔裤新的生命力水洗浅色牛仔裤,清新百搭!修身小脚裤形,修饰纤细美腿;棉弹牛仔布,舒适有度;毛须边裤脚设计,增添时髦风尚,且时尚百搭通过混搭可以不断赋予破洞牛仔裤新的生命力既时髦又具有格调,给人以轻松随性的感觉此款牛。
  • 黑曜石和翡翠玉石哪个对身体好(辟邪到底谁更厉害)
  • 2024-11-08辟邪到底谁更厉害世间万物,无奇不有,信则有,不信则无我们常常听到别人说“今天撞邪了”,也有很多朋友问平时佩戴什么东西可以辟邪,可见还是有很多人相信“邪魔鬼神”这一说法的古人认为黑色能吸收负能量、辟邪消灾、防小人,因此。
  • 摩拜几点更新红包车(摩拜又现红包车)
  • 2024-11-08摩拜又现红包车2小时内免费,红包金额随机高达100元,好玩!金额完全随机,要不要PK下人品?约起来!刷BOSS不如去郊游,摩拜单车红包大大,咱组队去?昨天,摩拜”红包车“的消息火爆朋友圈,小伙伴们纷纷呼朋唤友开启”。
  • 国家地理背包的防伪码(国家地理NG5168小型双肩背包体验)
  • 2024-11-08国家地理NG5168小型双肩背包体验1这款产品可以在侧面隔层装载捷信旅行者、曼富图Befree等紧凑型三脚架2主器材艙可以装载一台高端无反相机及三支配套镜头,最大可装载70-200f/2.8长焦镜头“地球探索者”是国家地理在约十年前前推。
  • 王字旁一个宗读什么(王字旁一个宗的读音)
  • 2024-11-08王字旁一个宗的读音琮的读音是cóng琮的释义:琮的本意是指古代一种玉器,也是一种姓氏该文字在《周礼·大宗伯》和《仪礼·聘礼》等文献均有记载笔顺:横、横、竖、提、点、点、横撇/横钩、横、横、竖钩、撇、点琤琮[chēngc。
  • 满分郝姓女宝宝名字大全
  • 2024-11-08满分郝姓女宝宝名字大全郝姓女孩姓名郝阳滋(98分)郝竞媛(100分)郝丽珺(100分)郝柔盛(100分)郝致婷(100分)郝勇焱(100分)郝高令(97分)郝鹏晴(100分)郝珂平(97分)郝艺媚(100分)郝志玮(98分。
  • 一部电影里的10句经典台词(27句震撼人心的电影台词)
  • 2024-11-0827句震撼人心的电影台词试问谁不想从头来过,但世间又有多少爱可以重来呢?时光如同白马过隙,我们再也回不去了……既然回不去,我们又如何从头来过?1、我听别人说这世界上有一种鸟是没有脚的,它只能一直飞呀飞呀,飞累了就在风里面睡觉。
  • 青年服务志愿者招募(青年志愿者服务社区行动指引)
  • 2024-11-08青年志愿者服务社区行动指引  社区是志愿服务的主场景,是青年志愿者参与基层社会治理的重要渠道为认真落实共青团中央有关工作部署,精心组织“青年志愿者服务社区行动”,广泛动员青年志愿者深入基层一线,走进城乡社区,积极参与基层社区治。