1
bilberry 2022-02-27 01:12:01 +08:00
重新复习了上学期讲的 PCA ,说下我的理解。
为什么方差越大的主成分给的权重就越大? 多维数据求的是协方差矩阵,协方差矩阵分解,如使用奇异值分解,会得到特征向量和特征值,每个特征向量对应由特征值。空间坐标系中,特征向量所表示的是各个成分的方向,特征值表在各方向上的大小。这个时候,某个方向上的协方差越大,其特征值就越大,对应“方差越大的主成分给的权重就越大”,我是这么觉得。这就好比初中物理的受力分解,可以随机找点数据测试下。 比如随便一个三维数据,x 分布[0,1],y 分布[0,5],z=0 ,分解后会发现 y 的特征值最大,z 的最小为 0 ,后面降维时 z 可以去掉,基本不会影响主成分。 |
2
huzhikuizainali OP 如使用奇异值分解,会得到特征向量和特征值----------协方差矩阵是实对称矩阵。而且是个方阵。所以没必要用奇异值分解,直接正交对角化就可以得到特征值特征向量(特征值分解可以看成奇异值分解的特殊形式,既被分解的是一个方阵。而奇异值分解可以看成特征值分解的普遍形式,方阵非方阵都适用)
某个方向上的协方差越大,其特征值就越大,---------你是不是想说方差越大就……。在某个方向上只有方差,只有不同方向间才有协方差,且 pca 后协方差=0 对应“方差越大的主成分给的权重就越大”,---------书中批判的就是这种方法或者说是理念。认为这样做没有理论依据! |