主成分分析法的原理应用及计算步骤 z
一、概述
在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠与高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单与最直接的解决方案就是削减变量的个数,但这必然又会导致信息丢失与信息不完整等问题的产生。为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:
?主成分个数远远少于原有变量的个数
原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
?主成分能够反映原有变量的绝大部分信息
因子并不就是原有变量的简单取舍,而就是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
?主成分之间应该互不相关
通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
?主成分具有命名解释性
总之,主成分分析法就是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理
主成分分析就是数学上对数据降维的一种方法。其基本思想就是设法将原来众多的具有一定相关性的指标X1,X2,…,XP(比如p个指标),重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
设F1表示原变量的第一个线性组合所形成的主成分指标,即
F1?a11X1?a21X2?...?ap1Xp,由数学知识可知,每一个主成分所提取的信息量可
用其方差来度量,其方差Var(F1)越大,表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大,因此在所有的线性组合中选取的F1应该就是X1,X2,…,XP的所有线性组合中方差最大的,故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信息,再考虑选取第二个主成分指标F2,为有效地反映原信息,F1已有的信息就不需要再出现在F2中,即F2与F1要保持独立、不相关,用数学语言表达就就是其协方差Cov(F1, F2)=0,所以F2就是与F1不相关的X1,X2,…,XP的所有线性组合中方差最大的,故称F2为第二主成分,依此类推构造出的F1、F2、……、Fm为原变量指标X1、X2……XP第一、第二、……、
主成分分析法的原理应用及计算步骤 z
第m个主成分。
?F1?a11X1?a12X2?...?a1pXp?F?aX?aX?...?aX?22112222pp ?......???Fm?am1X1?am2X2?...?ampXp根据以上分析得知:
(1) Fi与Fj互不相关,即Cov(Fi,Fj) = 0,并有Var(Fi)=ai’Σai,其中Σ
为X的协方差阵
(2)F1就是X1,X2,…,Xp的一切线性组合(系数满足上述要求)中方差最大的,……,即Fm就是与F1,F2,……,Fm－1都不相关的X1,X2,…,XP的所有线性组合中方差最大者。
F1,F2,…,Fm(m≤p)为构造的新变量指标,即原变量指标的第一、第二、……、第m个主成分。
由以上分析可见,主成分分析法的主要任务有两点:
(1)确定各主成分Fi(i=1,2,…,m)关于原变量Xj(j=1,2 ,…, p)的表达式,即系数aij( i=1,2,…,m; j=1,2 ,…,p)。从数学上可以证明,原变量协方差矩阵的特征根就是主成分的方差,所以前m个较大特征根就代表前m个较大的主成分方差值;原变量协方差矩阵前m个较大的特征值?i(这样选取才能保证主成分的方差依次最大)所对应的特征向量就就是相应主成分Fi表达式的系数ai,为了加以限制,系数ai启用的就是?i对应的单位化的特征向量,即有ai'ai= 1。 (2)计算主成分载荷,主成分载荷就是反映主成分Fi与原变量Xj之间的相互关联程度: P(Zk,xi)??kaki(i,?1,2,L,p;k?1,2,L,m)
三、主成分分析法的计算步骤
主成分分析的具体步骤如下: (1)计算协方差矩阵
计算样品数据的协方差矩阵:Σ=(sij)p?p,其中
1nsij??(xki?xi)(xkj?xj) i,j=1,2,…,p
n?1k?1(2)求出Σ的特征值?i及相应的正交化单位特征向量ai
Σ的前m个较大的特征值?1??2?…?m>0,就就是前m个主成分对应的方差,?i对应的单位特征向量ai就就是主成分Fi的关于原变量的系数,则原变量的第i个主成分Fi为:
主成分分析法的原理应用及计算步骤 z
Fi =ai'X
主成分的方差(信息)贡献率用来反映信息量的大小,?i为:
?i??i/??i
i?1m(3)选择主成分
最终要选择几个主成分,即F1,F2,……,Fm中m的确定就是通过方差(信息)累计贡献率G(m)来确定
G(m)???i/??k
i?1k?1mp当累积贡献率大于85%时,就认为能足够反映原来变量的信息了,对应的m就就是抽取的前m个主成分。 (4)计算主成分载荷
主成分载荷就是反映主成分Fi与原变量Xj之间的相互关联程度,原来变量Xj(j=1,2 ,…, p)在诸主成分Fi(i=1,2,…,m)上的荷载 lij( i=1,2,…,m; j=1,2 ,…,p)。:
l(Zi,Xj)??iaij(i?1,2,L,m;j?1,2,L,p)
在SPSS软件中主成分分析后的分析结果中,“成分矩阵”反应的就就是主成分载荷矩阵。
(5)计算主成分得分
计算样品在m个主成分上的得分:
Fi?a1iX1?a2iX2?...?apiXp i = 1,2,…,m
实际应用时,指标的量纲往往不同,所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法,常用方法就是将原始数据标准化,即做如下数据变换:
x?*ijxij?xjsji?1,2,...,n;j?1,2,...,p
1n1n2(xij?xj)2 其中:xj??xij,sj??ni?1n?1i?1根据数学公式知道,①任何随机变量对其作标准化变换后,其协方差与其相
关系数就是一回事,即标准化后的变量协方差矩阵就就是其相关系数矩阵。②另一方面,根据协方差的公式可以推得标准化后的协方差就就是原变量的相关系数,亦即,标准化后的变量的协方差矩阵就就是原变量的相关系数矩阵。也就就是说,在标准化前后变量的相关系数矩阵不变化。
根据以上论述,为消除量纲的影响,将变量标准化后再计算其协方差矩阵,就就是直接计算原变量的相关系数矩阵,所以主成分分析的实际常用计算步骤就是:
主成分分析法的原理应用及计算步骤 z
