第七章 主成分分析
（一）教学目的
通过本章的学习，对主成分分析从总体上有一个清晰地认识，理解主成分分析的基本思想和数学模型，掌握用主成分分析方法解决实际问题的能力。 （二）基本要求
了解主成分分析的基本思想，几何解释，理解主成分分析的数学模型，掌握主成分分析方法的主要步骤。
（三）教学要点
1、主成分分析基本思想，数学模型，几何解释 2、主成分分析的计算步骤及应用 （四）教学时数 3课时
（五）教学内容
1、主成分分析的原理及模型 2、主成分的导出及主成分分析步骤
在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。
第一节 主成分分析的原理及模型
一、主成分分析的基本思想与数学模型 （一）主成分分析的基本思想
主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为F1，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个变量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求 Cov(F1,F2)?0，称F2为第二主成分，依此类推可以构造出第三、四??第p个主成分。
（二）主成分分析的数学模型
对于一个样本资料，观测p个变量x1,x2,?xp，n个样品的数据资料阵为：
?x11??x21X?????x?n1x12x22?xn2????x1p??x2p???x1,x2,?xp? ???xnp??????,????x1j??x2jx?其中：j????x?njj?1,2,?p
主成分分析就是将p个观测变量综合成为p个新的变量（综合变量），即
?F1?a11x1?a12x2???a1pxp??F2?a21x1?a22x2???a2pxp ????Fp?ap1x1?ap2x2???appxp?简写为：
Fj??j1x1??j2x2????jpxp
j?1,2,?,p
要求模型满足以下条件：
①Fi,Fj互不相关（i?j，i,j?1,2,?,p） ②F1的方差大于F2的方差大于F3的方差，依次类推 ③ak1?ak2???akp?1222k?1,2,?p.
于是，称F1为第一主成分，F2为第二主成分，依此类推，有第p个主成分。主成分又叫主分量。这里aij我们称为主成分系数。
上述模型可用矩阵表示为：
F?AX，其中
?F1??F2F?????F?p?a11??a21A?????a?p1?x1???????x2?X? ????
????x???p??a12a22?ap2????a1p??a1????a2p??a2??? ????????a?app???p?A称为主成分系数矩阵。
二、主成分分析的几何解释
假设有n个样品，每个样品有二个变量，即在二维空间中讨论主成分的几何意义。设n个样品在二维空间中的分布大致为一个椭园，如下图所示：
图7.1 主成分几何解释图
将坐标系进行正交旋转一个角度?，使其椭圆长轴方向取坐标y1，在椭圆短轴方向取坐标y2，旋转公式为
?y1j?x1jcos??x2jsin? ?y?x(?sin?)?xcos?1j2j?2jj?1,2?n
?y11写成矩阵形式为：Y???y21?cos?????sin?y12y22??y1n?? y2n?x12x22??x1n???U?X x2n??1sin???x11???cos???x21其中U为坐标旋转变换矩阵，它是正交矩阵，即有U??Usin??cos??1。
22,UU??I，即满足
经过旋转变换后，得到下图的新坐标：
图7.2 主成分几何解释图
新坐标y1?y2有如下性质：
(1)n个点的坐标y1和y2的相关几乎为零。
(2)二维平面上的n个点的方差大部分都归结为y1轴上，而y2轴上的方差较小。 y1和y2称为原始变量x1和x2的综合变量。由于n个点在y1轴上的方差最大，因而将
二维空间的点用在y1轴上的一维综合变量来代替，所损失的信息量最小，由此称y1轴为第一主成分，y2轴与y1轴正交，有较小的方差，称它为第二主成分。
三、主成分分析的应用
主成分概念首先是由Karl parson 在1901年引进，但当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。特别是近年来，随着计算机软件的应用，
使得主成分分析的应用也越来越广泛。
其中，主成分分析可以用于系统评估。系统评估是指对系统营运状态做出评估，而评估一个系统的营运状态往往需要综合考察许多营运变量，例如对某一类企业的经济效益作评估，影响经济效益的变量很多，很难直接比较其优劣，所以解决评估问题的焦点是希望客观、科学地将一个多变量问题综合成一个单变量形式，也就是说只有在一维空间中才能使排序评估成为可能，这正符合主成分分析的基本思想。在经济统计研究中，除了经济效益的综合评价研究外，对不同地区经济发展水平的评价研究，不同地区经济发展竞争力的评价研究，人民生活水平、生活质量的评价研究，等等都可以用主成分分析方法进行研究。
另外，主成分分析除了用于系统评估研究领域外，还可以与回归分析结合，进行主成分回归分析，以及利用主成分分析进行挑选变量，选择变量子集合的研究。
第二节 主成分的导出及主成分分析的步骤
一、主成分的导出
根据主成分分析的数学模型的定义，要进行主成分分析，就需要根据原始数据，以及模型的三个条件的要求，如何求出主成分系数，以便得到主成分模型。这就是导出主成分所要解决的问题。
1、根据主成分数学模型的条件①要求主成分之间互不相关，为此主成分之间的协差阵应该是一个对角阵。即，对于主成分，
F?AX
其协差阵应为，
Var(F)?Var(AX)?(AX)?(AX)??AXX?A?
??1??=???????2????? ??p??2、设原始数据的协方差阵为V，如果原始数据进行了标准化处理后则协方差阵等于相关矩阵，即有，
V?R?XX?
3、再由主成分数学模型条件③和正交矩阵的性质，若能够满足条件③最好要求A为正交矩阵，即满足
AA??I
主成分分析原理
