干货 | 如何通俗易懂地理解PCA主成分分析

主成分分析是对于原先提出的所有变量，删去多余、重复的变量（关系紧密的变量），建立尽可能少的新变量，使得这些新变量是两两不相关。PCA分析的过程就是信息浓缩的过程。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性，PCA分析可以用比较少的变量来概括描述课题信息的同时尽可能保持原有的信息，这些新变量称之为主成分。

PCA分析并不是选出一些变量，然后丢掉另外的变量，实际上是它找出一些新的变量，而且这些新变量可以很好的描述样本信息。怎么找这些新变量呢？利用的还是之前的变量，通过空间投影和线性变换找到一些新的变量（线性组合）。这样的变量有很多，PCA做的就是找出那些最佳组合，PCA找出最佳新变量的过程如图3所示。

图3  PCA获取新变量的过程

图4  数据空间投影和线性变换

图4里蓝点表示样本的两个特征x和y，它们是相关的，画一条穿过这些点的黑线，让这些点都投影到黑线上，黑线上的红点就表示蓝点的投影，这样就获得一个新变量（黑线上的红点）。新变量可以用线ω_1*x+ω_2*y来表示，ω_1,ω_2不同时，黑线的方向就不同。

PCA找出的最佳新变量要同时满足 “方差最大”和“误差最小”这两个条件，当黑线转动到品红色标记的方向时，同时满足这两个条件。PCA找出的最佳新变量就是“第一主成分”。方差最大即黑线上的红点的变化范围要最大。误差最小即新变量（红色点）来重现原来的两个特征（蓝色点）时的误差（红色连线）最小。

图5  数据投影的方差和误差

红点的方差：每个红点跟中心点的距离的平方和。误差：红色连线长度的平方取平均值表示。红色的方差与误差的和为蓝点与中心点的平方，因此，方差越大时，误差也会越小。

PCA算法步骤：

设有n条m维数据

1) 将原始数据按列组成m行n列矩阵X

2) 将X的每一行(代表一个属性字段）进行零均值化

3) 求出协方差矩阵

4) 求出协方差矩阵的特征值及对应的特征向量

5) 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P

6) Y=PX，Y=PX即为降维到k维后的数据

一个含有n个样本的集合，依次给出数理统计中的一些相关概念：

均值：

标准差:

方差：

协方差就是一种用来度量两个随机变量关系的统计量，其定义为：

数据集有三个维度，则协方差矩阵为

n维的数据集就需要计算

个协方差，用矩阵来组织这些数据。

给出协方差矩阵的定义：

协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。协方差矩阵计算的是不同维度之间的协方差。

PCA思维导图：

99%的代谢组学研究者都在阅读下文：