专业的网站建设电话,如何开发一个聊天软件,发布网页,进贤县住房和城乡建设局网站协方差矩阵协方差矩阵#xff08;从随机变量讲起#xff09;随机变量x#xff1a;表示随机试验各种结果的
实值
单值函数#xff0c;就是说随机变量x是一个函数映射#xff0c;其取值为标量。随机变量有离散型和连续型#xff0c;离散型#xff1a;抛10次硬币#xff…
协方差矩阵协方差矩阵从随机变量讲起随机变量x表示随机试验各种结果的
实值
单值函数就是说随机变量x是一个函数映射其取值为标量。随机变量有离散型和连续型离散型抛10次硬币硬币正面朝上的次数。连续型某一地区一天内每一时刻的温度。
随机变量的性质由其统计量表示常用的统计量有随机变量的均值与方差
离散型随机变量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn}的均值为 μ1n∑i1nxi\mu\frac{1}{n}\sum_{i1}^nx_iμn1i1∑nxi 均值可以 量化 这个随机变量值 大小。
离散型随机变量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn}的方差为 σ1n∑i1n(xi−μ)2\sigma\frac{1}{n}\sum_{i1}^{n}(x_i-\mu)^2σn1i1∑n(xi−μ)2 方差表明取值序列的 离散程度。
当分析两个随机变量x,y之间关系的时候协方差 的概念 由此引出: 两个随机变量取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn},{y1,y2,....,yn}\{y_1,y_2,....,y_n\}{y1,y2,....,yn}之间的协方差 cov(x,y)1n∑i1n(xi−μx)(yi−μy)cov(x,y)\frac{1}{n}\sum_{i1}^n(x_i-\mu_x)(y_i-\mu_y)cov(x,y)n1i1∑n(xi−μx)(yi−μy)
协方差矩阵
我们在实际中经常会遇到协方差矩阵给定一个n个d∗1d*1d∗1维的(列)向量数据{x1,x2,...,xn}\{\bm{x_1},\bm{x_2},...,\bm{x_n}\}{x1,x2,...,xn},这组数据的协方矩阵为: Σ1n∑i1nxi−μ(xi−μ)T\Sigma\frac{1}{n}\sum_{i1}^n\bm{x_i}-\bm{\mu}(\bm{x_i}-\bm{\mu})^TΣn1i1∑nxi−μ(xi−μ)T 其中μ1n∑xi\bm{\mu}\frac{1}{n}\sum\bm{x_i}μn1∑xi
以上协方差矩阵Σ\SigmaΣ实际是记录 以向量x\bm{x}x各个d个维度为随机变量 的d个随机变量之间的协方差。
xij\bm{x}_i^jxij下标表示第iii个向量数据上标表示第iii个向量的第jjj个分量则Σ\SigmaΣ是一个d∗dd*dd∗d的矩阵 Σ1n∑[xi1−μ1xi2−μ2...xid−μd]∗[xi1−μ1,xi2−μ2,...,xid−μd]\Sigma\frac{1}{n}\sum \left[ \begin{matrix} \bm{x_i^1}-\bm{\mu^1}\\ \bm{x_i^2}-\bm{\mu^2}\\ ...\\ \bm{x_i^d}-\bm{\mu^d} \end{matrix} \right] * \left[ \begin{matrix} \bm{x_i^1}-\bm{\mu^1} , \bm{x_i^2}-\bm{\mu^2}, ..., \bm{x_i^d}-\bm{\mu^d} \end{matrix} \right] Σn1∑⎣⎢⎢⎡xi1−μ1xi2−μ2...xid−μd⎦⎥⎥⎤∗[xi1−μ1,xi2−μ2,...,xid−μd]
1n∑[(xi1−μ1)(xi1−μ1),(xi1−μ1)(xi2−μ2),...,(xi1−μ1)(xid−μd)(xi2−μ2)(xi1−μ1),(xi2−μ2)(xi2−μ2),...,(xi2−μ2)(xid−μd)...(xid−μd)(xi1−μ1),(xid−μd)(xi2−μ2),...,(xid−μd)(xid−μd)]\frac{1}{n}\sum \left[ \begin{matrix} ( \bm{x_i^1}-\bm{\mu^1})( \bm{x_i^1}-\bm{\mu^1}) ,( \bm{x_i^1}-\bm{\mu^1})(\bm{x_i^2}-\bm{\mu^2}),...,( \bm{x_i^1}-\bm{\mu^1})(\bm{x_i^d}-\bm{\mu^d})\\ ( \bm{x_i^2}-\bm{\mu^2})( \bm{x_i^1}-\bm{\mu^1}) ,( \bm{x_i^2}-\bm{\mu^2})(\bm{x_i^2}-\bm{\mu^2}),...,( \bm{x_i^2}-\bm{\mu^2})(\bm{x_i^d}-\bm{\mu^d})\\ ...\\ ( \bm{x_i^d}-\bm{\mu^d})( \bm{x_i^1}-\bm{\mu^1}) , ( \bm{x_i^d}-\bm{\mu^d})(\bm{x_i^2}-\bm{\mu^2}),..., ( \bm{x_i^d}-\bm{\mu^d})(\bm{x_i^d}-\bm{\mu^d})\\ \end{matrix} \right] n1∑⎣⎢⎢⎡(xi1−μ1)(xi1−μ1),(xi2−μ2)(xi1−μ1),...(xid−μd)(xi1−μ1),(xi1−μ1)(xi2−μ2),(xi2−μ2)(xi2−μ2),(xid−μd)(xi2−μ2),...,...,...,(xi1−μ1)(xid−μd)(xi2−μ2)(xid−μd)(xid−μd)(xid−μd)⎦⎥⎥⎤
在PCA 算法中就需要对样本协方差矩阵进行特征值分解。
