营销型网站管理方案/怎样做线上销售

常见的降维方式有：主成分分析、线性判别分析、等距映射、局部线性嵌入、拉普拉斯特征映射、局部保留投影。

本章主要介绍：主成分分析和线性判别分析。

01 PCA最大方差理论

PCA：Principal Components Analysis主成分分析，已经有100多年的历史，属于一种线性、非监督、全局的降维方法。面试经常被问到。

信号处理中，认为信号具有较大方差，噪声具有较小方差，信噪比越高认为信号质量越高。
PCA的目标：最大化投影方差，也就是让数据在主轴上投影的方差最大。

局限：PCA是一种线性降维方法。

改进：通过核映射对PCA进行扩展，得到核主成分分析KPCA；

           通过流形映射的降维方法：等距映射、局部线性嵌入、拉普拉斯特征映射等，对PCA效果不好的复杂数据集进行非线性降维。

02 PCA最小平方误差理论

推导（待补充）

03 线性判别分析

LDA：Linear Discriminant Analysis线性判别分析，有监督学习算法。

与PCA相比，PCA没有考虑数据的标签，只是把原数据映射到一些方差较大的方向上；LDA可以作为一种有监督降维方法。

上述例子，PCA会映射到y轴上，映射后很难分开；但是LDA会映射到x轴上。

LDA思想：最大化类间距离，最小化类内距离。

总结：

PCA和LDA都是经典的线性降维方法，不同在于，PCA是无监督的降维方法；LDA可以加入标签，是有监督的降维方法。

对于非线性数据，可以通过核映射的方法对二者进行扩展。

降维在人脸识别中的应用：Eigenface