机器学习残差计算(机器学习降维方法)
机器学习残差计算(机器学习降维方法)
2024-11-25 12:12:00  作者:挽风叙旧  网址:https://m.xinb2b.cn/tech/jof183881.html

主成分分析(principal component analysis,PCA)是机器学习里常用的无监督学习方法。这个方法利用正交变换,将由线性相关变量表示的观测数据转换为由少数几个线性无关变量表示的数据,线性无关的变量称为主成分。主成分的个数通常少于原始变量的个数,所以主成分分析属于降维方法。

主成分分析这一方法主要用来分析数据的基本结构,即数据中变量之间的关系,是数据分析的有力工具,也可以用于其他机器学习方法的预处理,它是多元统计分析中的经典方法。

为什么要求变量之间线性无关?

如果数据之中的某些维度之间存在较强的线性相关关系,那么样本在这些维度上提供的信息有就会一定地重复,所以希望数据各个维度之间是不相关的 (也就是正交的)。

直观解释


如图,考虑二维情形,假如x_1和x_2是两个数据变量,图中每个点表示一个样本点,可以看出,这些数据分布在一个以原点为中心的椭圆中,很明显这两个变量是线性相关的,因为固定了一个变量后,另外一个变量的取值不是随机的。

主成分分析对数据做正交变换,具体地,对原坐标系进行旋转变换,将数据在新的坐标系中表示。新的变量是y_1和y_2。可以看出,新的坐标系中,椭圆的长短轴分别对应两个新的坐标轴。为什么这样做呢?因为主成分分析选择方差最大的方向作为第一主成分,也就是长轴对应的方向;其次选择方差第二大,且与第一主成分线性无关的方向,即正交的方向,作为第二主成分,即短轴。

在新的坐标系里,数据中的变量是线性无关的。

样本主成分分析

求解主成分分析的思路就是求得原变量的一系列线性变换,使得新变量y_1(第一主成分)的方差最大,y_2(第二主成分)的方差是和y_1不相关的原变量的所有线性变换中方差最大的,然后在和y_1、y_2线性无关的条件下,分别求y_3,y_4...。

我们下面简单介绍对样本的主成分分析算法。

对n个观测数据样本进行规范化处理,得到规范化数据矩阵,表示为X。根据规范化数据矩阵,计算样本的相关矩阵R = 1/(n-1)*X*X^T求样本相关矩阵R的n个特征值lambda_1,lambda_2,···lambda_n和对应的n个单位特征向量a_1,a_2,···a_n,每个特征值除以所有特征值的和就是这个主成分对应的方差贡献率。我们要选取多少个主成分呢? 假如选取前k个, 一般要求k个主成分的累计方差贡献率(即方差贡献率之和)在70%到80%,这就说明这些主成分保留原数据的信息量在70%到80%。因此,计算累计方差贡献率,再决定k的大小。求解k个样本主成分。y_i = a_i^T*x;数据分析

得到k个主成分后,就可以对主成分进行分析,可以通过计算主成分和原变量的相关系数(称为因子负荷量),来分析哪个原变量和主成分的相关性最高。比如在考试成绩的数据中,每个科目都是原变量,求得第一主成分后,假如物理和第一主成分的因子负荷量最高,说明物理对第一主成分影响最大。怎么分析要结合具体的计算结果和具体的例子。

扩展

可以通过核方法隐式地在高维空间中进行主成分分析,相关的方法是核主成分分析。

参考资料:《统计学习方法(第二版)》,李航,清华大学出版社;

欢迎大家在评论区讨论,如有错误,欢迎指正,多谢。

喜欢的可以关注一波小编哇,一起讨论,一起学习进步!您的支持,是小编创作的动力!

  • 段奕宏梁朝伟猎狐行动(猎狐行动发首款预告)
  • 2024-11-25猎狐行动发首款预告新京报讯(记者周慧晓婉)7月14日,由张立嘉(导演代表作《机器之血》)执导,梁朝伟、段奕宏领衔,夏侯云姗、“邦女郎”欧嘉·柯瑞兰寇等联袂主演的首部反映中国公安部经侦干警赴海外缉捕经济犯罪在逃犯的影片《。
  • 农村建房最佳方案图纸(农村建房图纸推荐)
  • 2024-11-25农村建房图纸推荐随着城市环境日益污染,再加上城市生活愈发的紧张压抑使得每一个人心中都埋下一颗回乡发展的种子随着时间的流逝这颗种子悄悄的发芽了,都向往农村蔚蓝的天空,清新的空气到处都是鸟语花香的乡间生活而这恰恰是城市漂。
  • 虚度年华和碌碌无为的共同点(不因虚度年华而悔恨)
  • 2024-11-25不因虚度年华而悔恨“人最宝贵的东西是生命,生命对人来说只有一次,因此,人的一生应当这样度过:当一个人回首往事时,不因虚度年华而悔恨,也不因碌碌无为而羞愧;这样,在他临死的时候,能够说,我把整个生命和全部精力都献给了人生。
  • 崩坏3新手迎新手册内容(崩坏3新手入门攻略)
  • 2024-11-25崩坏3新手入门攻略崩坏3新手要怎么玩?战斗界面都有哪些要注意的?介绍了战斗界面详解,希望这篇文章能够帮助到崩坏3的玩家!游戏介绍:崩坏3是由同名漫画改编的游戏作品,延续了崩坏学园2中的崩坏世界观,人气角色琪亚娜、雷电芽。
  • 扒粟子皮方法(剥粟子皮的最佳方法)
  • 2024-11-25剥粟子皮的最佳方法1、热水浸泡法生栗子洗净后放入器皿中,用滚沸的开水浸没,盖上锅盖5分钟后,取出栗子切开,栗皮随即脱落,此法省时、省力2、筷子搅拌法将栗子一切两瓣,去壳后放入盆内,加开水浸泡一会儿后,用筷子搅拌,栗子的。
  • 福鼎白茶与其他白茶的区别在哪里,福鼎白茶PK安吉白茶哪个更胜一筹
  • 2024-11-25福鼎白茶与其他白茶的区别在哪里,福鼎白茶PK安吉白茶哪个更胜一筹福鼎白茶太姥山核心产区在和许多茶友谈到安吉白茶的时候,很多人都认为安吉白茶就是通常所说的白茶,从今天开始,当您看到这篇文章的时候,就要重新定义!安吉白茶其实是标准的绿茶,而通常所说的白茶指的是以福建福。
  • 南京一栋楼有15对双胞胎(竟是同年同月同日生)
  • 2024-11-25竟是同年同月同日生这对“驻外”大熊猫夫妇16岁了!在马来西亚国家动物园大熊猫保护中心内,中国旅马大熊猫夫妇“兴兴”和“靓靓”23日迎来了16岁生日“兴兴”和“靓靓”都是2006年8月23日出生,2014年一起到马来西亚。
  • 宝宝怎么长睫毛(这么简单就能让宝宝拥有逆天长睫毛)
  • 2024-11-25这么简单就能让宝宝拥有逆天长睫毛每位家长都希望自己的宝宝有一双清澈明亮的大眼睛,如果再配上浓密的长睫毛就更好了,毕竟现在高颜值还是比较受欢迎的有的家长可能听说过,如果把宝宝的眼睫毛剪掉,再长出来的新睫毛就会又长又密因此很多家长就真的。
  • 当初聂小倩扮演者谁最美(8位扮演过小倩的女星)
  • 2024-11-258位扮演过小倩的女星聂小倩无疑是最出名也是最美的女鬼吧,既有一些不食人间烟火的美,又有一些历经沧桑的美,两种矛盾的集合体在她身上确是合二为一,下面这8位女星在不同的影视作品中出演过聂小倩,来看看有没有你喜欢的?1、杨幂2。
  • 葛花的功效与作用(葛花的功效与作用介绍)
  • 2024-11-25葛花的功效与作用介绍葛花含水溶性生物碱及微量黄酮化合物、又含挥发油、懈皮素、衣香豆素、葛花皂昔、色氨酸衍生物、三菇皂昔以及异黄酮类酒前服用,提前在肝、胃形成保护膜,起到护肝养胃,增大酒量作用;葛花解酒醒脾,治伤酒发热烦渴。
  • 猫咪光喝水能不能饿死(把猫咪关在家里2周时间)
  • 2024-11-25把猫咪关在家里2周时间在网上看到一个铲屎官发的帖子,让人无奈又气愤无奈的是,对于某些不可抗力的因素,有些事情确实不会按照你计划中的样子去发展气愤的是,作为一个养猫1年多时间的铲屎官,竟然连一点儿最基本的常识和经验都没有这个。