白纸推导协方差与协方差矩阵

在PCA里,协方差矩阵是一个重要的概念。这里关于协方差矩阵我做一点笔记,其中我并没有做m个n维向量类似的推导。采用4维以及10维来说明,这样好看一点,其实是一样的。

1.基础篇推导

谨记:下面的a,b,c,d都是属性值。我们说协方差都是研究的属性之间的相关性独立性等,而不是样本之间的。
也即:研究列之间的关系。不研究行与行的关系。(这里一行就是一个样本,一行自然有好几列,那么每个列都是一个属性值。)

在这里插入图片描述

2.关于一个问题。

看完上面的你可能会说:我擦,你是认真的吗?为什么我看的协方差矩阵这个样子?
在这里插入图片描述
分析:
在这里插入图片描述

3.小问题

可能会有人看别的博客发现别人的协方差矩阵又是这个样子:
在这里插入图片描述
图片源自:https://www.cnblogs.com/terencezhou/p/6235974.html
怎么这里是原向量乘以它的转置。你上面是转置乘以原向量呢?
答:1.只是行列的定义不同而已。上面x是行向量,这里是列向量。除了这个其他如出一辙。
2.我这里假设了均值为0,所以少了一项。

猜你喜欢

转载自blog.csdn.net/ssswill/article/details/86524283