东莞大岭山网站制作,龙华属于深圳哪个区,长沙网页设计公司,吉林教育网站建设方案PCA在机器学习中很常用#xff0c;是一种无参数的数据降维方法。PCA步骤#xff1a;将原始数据按列组成n行m列矩阵X将X的每一行(代表一个属性字段)进行零均值化#xff0c;即减去这一行的均值求出协方差矩阵求出协方差矩阵的特征值及对应的特征向量将特征向量按对应特征值大…PCA在机器学习中很常用是一种无参数的数据降维方法。PCA步骤将原始数据按列组成n行m列矩阵X将X的每一行(代表一个属性字段)进行零均值化即减去这一行的均值求出协方差矩阵求出协方差矩阵的特征值及对应的特征向量将特征向量按对应特征值大小从上到下按行排列成矩阵取前k行组成矩阵PYPX即为降维到k维后的数据1. PCA的推导PCA通过线性变换将原始数据变换为一组各维度线性无关的表示可用于提取数据的主要特征分量常用于高维数据的降维。我们知道PCA是一种数据降维的方法在降低维度的过程中我们当然想要保留更多的特征PCA就是经过数学推导保留最多特征同时降维的方法。在推导之前要先知道几个基础知识内积与投影两个维数相同的向量的内积被定义为假设A和B是两个n维向量我们知道n维向量可以等价表示为n维空间中的一条从原点发射的有向线段为了简单起见我们假设A和B均为二维向量则A(x1,y1),B(x2,y2)。则在二维平面上A和B可以用两条发自原点的有向线段表示见下图现在我们从A点向B所在直线引一条垂线。我们知道垂线与B的交点叫做A在B上的投影再设A与B的夹角是a则投影的矢量长度为|A|cos(a)其中|A|是向量A的模也就是A线段的标量长度。到这里还是看不出内积和这东西有什么关系不过如果我们将内积表示为另一种我们熟悉的形式 现在事情似乎是有点眉目了A与B的内积等于A到B的投影长度乘以B的模。再进一步如果我们假设B的模为1即让|B|1那么就变成了也就是说设向量B的模为1则A与B的内积值等于A向B所在直线投影的矢量长度这就是内积的一种几何解释也是我们得到的第一个重要结论。在后面的推导中将反复使用这个结论。基下面我们继续在二维空间内讨论向量。上文说过一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如下面这个向量在代数表示方面我们经常用线段终点的点坐标表示向量例如上面的向量可以表示为(3,2)这是我们再熟悉不过的向量表示。我们列举的例子中基是正交的(即内积为0或直观说相互垂直)但可以成为一组基的唯一要求就是线性无关非正交的基也是可以的。不过因为正交基有较好的性质所以一般使用的基都是正交的。3. 基变换的矩阵表示一般的如果我们有M个N维向量想将其变换为由R个N维向量表示的新空间中那么首先将R个基按行组成矩阵A然后将向量按列组成矩阵B那么两矩阵的乘积AB就是变换结果其中AB的第m列为A中第m列变换后的结果。(新基按行向量按列)特别要注意的是这里R可以小于N而R决定了变换后数据的维数。也就是说我们可以将一N维数据变换到更低维度的空间中去变换后的维度取决于基的数量。因此这种矩阵相乘的表示也可以表示降维变换。最后上述分析同时给矩阵相乘找到了一种物理解释两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说一个矩阵可以表示一种线性变换。很多同学在学线性代数时对矩阵相乘的方法感到奇怪但是如果明白了矩阵相乘的物理意义其合理性就一目了然了。4. 协方差矩阵与优化目标我们从上面的矩阵乘法与基变换可以看出当新基的维数小于原来的维数时可以做到数据的降维但是究竟如何选择新基就是我们现在面临的问题我们想要选择一个维数更小的新基同时新基保留有更多的信息。我们知道矩阵向新基投影的形式也就是PCA是将一组N维的特征投影到K维(K那么怎么衡量更多的特征也就是投影后尽量少的重叠投影值尽可能分散。协方差从二维到一维的降维只需要找到一个一维基使得方差最大但是三维降到二维呢我们需要找到两个基让这个三维数据投影到两个基上如果我们找方差最大的两个基会发现他们完全一样或者线性相关这和一个基没什么区别不能表达更多的信息所以我们需要添加限制条件我们希望这两个基彼此线性无关扩展到K个基也是一样。当协方差为0时表示两个字段完全独立。为了让协方差为0我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。至此我们得到了降维问题的优化目标将一组N维向量降为K维(K大于0小于N)其目标是选择K个单位(模为1)正交基使得原始数据变换到这组基上后各字段两两间协方差为0而字段的方差则尽可能大(在正交的约束下取最大的K个方差)。关于PCA的贡献率与K的选择在我的文章特征值和特征向量中说过特征值反映了矩阵对于特征向量的拉伸程度只有拉伸而没有旋转也就是在特征向量方向上的作用程度所以在PCA中我们选取前K个特征向量组成新基进行投影就是因为原特征在前K个特征向量有最大的作用程度。投影过后可以保留更多的信息作用程度是用特征值表示的所以我们可以使用下面的式子表示贡献率贡献率是表示投影后信息的保留程度的变量也就是特征值的总和比上前K个特征值一般来说贡献率要大于85%。(1)获取更多优质内容及精彩资讯可前往https://www.cda.cn/?seo(2)了解更多数据领域的优质课程
