公司的网站如何建设方案,网站代运营合同,美化网页制作教程,c 做网站 知乎核函数与再生核希尔伯特空间1.支持向量积-核函数2.一个函数为核函数的条件3.核函数与希尔伯特空间3.1希尔伯特空间-Hilbert空间1.支持向量积-核函数
核(kernel)的概念由Aizenman et al.于1964年引入模式识别领域#xff0c;原文介绍的是势函数的方法。在那之后#xff0c;核…
核函数与再生核希尔伯特空间1.支持向量积-核函数2.一个函数为核函数的条件3.核函数与希尔伯特空间3.1希尔伯特空间-Hilbert空间1.支持向量积-核函数
核(kernel)的概念由Aizenman et al.于1964年引入模式识别领域原文介绍的是势函数的方法。在那之后核函数在模式识别领域沉积了很久。1992年Boser 等人的在解决支持向量机算法时重新将核的概念引入机器学习领域从此引发了核函数研究应用的热潮。一个最简单的应用就是利用核方法扩展经典算法将算法中的内积替换成核函数。
在支持向量机中核函数是 将 原线性不可分的特征空间中的特征向量xxx映射到 线性可分的高维特征空间的特征向量ϕ(x)\phi(x)ϕ(x)然后,特征向量ϕ(x)\phi(x)ϕ(x)之间求内积的一个表达式。(核函数就是一个表达式) k(xn,xm)ϕ(xn)Tϕ(xm)k(x_n,x_m)\phi(x_n)^T\phi(x_m)k(xn,xm)ϕ(xn)Tϕ(xm)
核函数的巧妙之处高维空间中特征向量的内积表达式可以直接用低维特征向量的各个维度的坐标表示。所以只需将低维度特征x,x′x,xx,x′带入核函数k(x,x′)k(x,x)k(x,x′)求函数值就等价于x−ϕ(x),x′−ϕ(x′)求内积ϕ(x),ϕ(x′)x-\phi(x) ,x-\phi(x)求内积\phi(x),\phi(x)x−ϕ(x),x′−ϕ(x′)求内积ϕ(x),ϕ(x′)的过程当高维空间维很高时内积求解十分缓慢所以核函数是一个十分便利的工具。
基本概念 核函数k(x,x′)k(x,x)k(x,x′)样本特征向量{xin}\{x_i^n\}{xin}gram矩阵K{Ki,j}K\{ K_{i,j} \}K{Ki,j},Ki,jk(xi,xj)K_{i,j}k(x_i,x_j)Ki,jk(xi,xj) [k(x1,x1)k(x1,x2)...k(x1,xn)k(x2,x1)k(x2,x2)...k(x2,xn)............k(xn,x1)k(xn,x2)...k(xn,xn)]\left[ \begin{matrix} k(x_1,x_1) k(x_1,x_2) ... k(x_1,x_n)\\ k(x_2,x_1) k(x_2,x_2) ... k(x_2,x_n)\\ ... ... ... ... \\ k(x_n,x_1) k(x_n,x_2) ... k(x_n,x_n) \end{matrix} \right] ⎣⎢⎢⎡k(x1,x1)k(x2,x1)...k(xn,x1)k(x1,x2)k(x2,x2)...k(xn,x2)............k(x1,xn)k(x2,xn)...k(xn,xn)⎦⎥⎥⎤
详细SVM与核函数参见对偶问题的求解巴拉巴拉https://cuijiahua.com/blog/2017/11/ml_9_svm_2.html 2.一个函数为核函数的条件
可以通过多种方式构造核函数1原始的映射构造法、2核函数性质简单核函数构造法[RBF核函数就可以从此构造出来]、3概率生成式模型开始构造。
高维特征向量的内积 实际是 低维特征向量 各个分量的函数》高维内积 是一个函数。但是并非每一个函数都对应着一个高维内积。只有当一个函数满足mercer定理时它才能作为一个核函数。所以可以通过mercer定义判断一个函数是否可以作为一个核函数。 Mercer定理 对称且半正定的函数可以作为一个核函数。
离散化简单理解“半正定”三个字常见于矩阵分析中。此处可通过判定对称函数Gram 矩阵的半正定性进而判断源函数的半正定性质。一个n × n的实对称矩阵A是正定的当且仅当对于所有的非零实系数向量z都有zTAz0z^TAz 0zTAz0。
具体做法将样本{xi1in}\{x_{i1}^{in}\}{xi1in}带入函数k(x,x′)k(x,x)k(x,x′)计算gram矩阵K{Ki,j}K\{ K_{i,j} \}K{Ki,j},Ki,jk(xi,xj)K_{i,j}k(x_i,x_j)Ki,jk(xi,xj)判定gram矩阵的半正定性。
连续化定义一个对称函数k(x,x′)k(x,x)k(x,x′)是半正定的当且仅当对于任意的函数g下式成立 ∫Xg(x)k(x,x′)g(x′)dxdx′≥0\int_\mathcal{X}g(x)k(x,x)g(x)dxdx\ge0∫Xg(x)k(x,x′)g(x′)dxdx′≥0 通过Gram矩阵特征值分解(谱分解)可以将k(xi,xj)k(x_i,x_j)k(xi,xj)表示成gram矩阵特征值与特征向量分量组合的形式 QTKQdiag(λ1,λ2,...,λn)ΛQ^TKQdiag(\lambda_1,\lambda_2,...,\lambda_n)\LambdaQTKQdiag(λ1,λ2,...,λn)Λ
KQΛQTKQ\Lambda Q^TKQΛQT
QQQ为特征向量矩阵viv_ivi为n维向量其第二个下标表示该向量分量 Q[v1,v2,...,vn]Q[v_1,v_2,...,v_n]Q[v1,v2,...,vn]
KQΛQT[λ1v1,λ2v2,...,λnvn][v1,v2,...,vn]TKQ\Lambda Q^T[\lambda_1v_1,\lambda_2v_2,...,\lambda_nv_n][v_1,v_2,...,v_n]^TKQΛQT[λ1v1,λ2v2,...,λnvn][v1,v2,...,vn]T [λ1v11λ2v21...λnvn1λ1v12λ2v22...λnvn2............λ1v1nλ2v2n...λnvnn][v11v12...v1nv21v22...v2n............vn1vn2...vnn]\left[ \begin{matrix} \lambda_1v_{11}\lambda_2v_{21}...\lambda_nv_{n1}\\ \lambda_1v_{12}\lambda_2v_{22}...\lambda_nv_{n2}\\ ... ... ... ... \\ \lambda_1v_{1n}\lambda_2v_{2n}...\lambda_nv_{nn} \end{matrix} \right] \left[ \begin{matrix} v_{11}v_{12}...v_{1n}\\ v_{21}v_{22}...v_{2n}\\ ... ... ... ... \\ v_{n1}v_{n2}...v_{nn} \end{matrix} \right]⎣⎢⎢⎡λ1v11λ1v12...λ1v1nλ2v21λ2v22...λ2v2n............λnvn1λnvn2...λnvnn⎦⎥⎥⎤⎣⎢⎢⎡v11v21...vn1v12v22...vn2............v1nv2n...vnn⎦⎥⎥⎤
k(xi,xj)∑k1nλkvkivkjk(x_i,x_j)\sum_{k1}^n\lambda_kv_{ki}v_{kj}k(xi,xj)k1∑nλkvkivkj
注意vkiv_{ki}vki第一个下标表示这是第kkk个特征向量第二个下标表示这是第kkk个特征向量的第iii个分量。 当特征n→∞n\rightarrow \inftyn→∞时离散-》连续。vkiv_{ki}vki可以看做第k个特征函数的第i个函数值即ψk(xi)\psi_k(x_i)ψk(xi)。此时核函数可以写为 k(x,x′)∑jλjψj(x)ψj(x′)k(x,x)\sum_{j}\lambda_j\psi _j(x)\psi _j(x)k(x,x′)j∑λjψj(x)ψj(x′) 用到的工具
Mercer定理的一点证明 https://blog.csdn.net/sinat_22510827/article/details/79116612 矩阵特征值分解https://blog.csdn.net/weixin_42018112/article/details/80250206 矩阵A的特征向量特征值:AxλxAx\lambda xAxλx,矩阵A作用于(每一矩阵都对应一个变换)特征向量xxx其效果等价与对向量xxx做尺度变换。所以xxx真是一个很神奇的方向呢
每一个矩阵A都相似于一个上三角矩阵通初等变换可以将一个矩阵转换成一个上三角阵将这些初等变换乘在一起就构成了一个变换矩阵。
每次的初等变换选择 特征值变换且矩阵A是一个对称矩阵那矩阵A可以进行特征值分解: QTAQdiag(λ1,λ2,...,λn)Q^TAQdiag(\lambda_1,\lambda_2,...,\lambda_n)QTAQdiag(λ1,λ2,...,λn)
QQQ的列向量组成AAA的一个完备标准正交向量系。 3.核函数与希尔伯特空间
原来线性映射ϕ(x)\phi(x)ϕ(x) 它将原始特征空间中的数据点映射到另一个高维空间中。其实这个高维空间在这里有一个华丽的名字——“再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS)”[1]
所以每一个核函数都对应着自己的一个再生核希尔伯特空间。
下面先介绍希尔波特空间再介绍再生核希尔伯特空间。
3.1希尔伯特空间-Hilbert空间
从 泛函 说 希尔伯特空间[2] 希尔伯特空间 是 希尔伯特 在解决 无穷维线性方程组 时提出的概念原来的线性代数理论都是基于有限维欧几里得空间的无法适用这迫使希尔伯特去思考无穷维欧几里得空间也就是无穷序列空间的性质。
l2l^2l2空间所有2范数∑xn2\sum x_n^2∑xn2n为向量的下标为有限的 无穷维向量xxx 组成的空间。这是最早的Hilbert space。
L2L^2L2空间单位闭区间上所有平方可积的实函数就是说 fx的平方在[01]上的积分存在且有限按照函数的加法和数乘成为一个线性空间。 ∫f2(x)dx\int f^2(x)dx∫f2(x)dx
L2L^2L2希尔伯特空间是一个函数空间其中定义内积如下 fg∫∣f∗g∣dxfg \int|f*g|dxfg∫∣f∗g∣dx
范数: ‖f‖ff∫f2(x)dx‖f‖\sqrt{ff}\sqrt{\int f ^2(x)dx}‖f‖ff∫f2(x)dx
泛函就是自变量为函数因变量为实数的映射。一个简单的例子某一个泛函的定义域在L2L^2L2Hilbert space上。 从 定义 说 希尔伯特空间 向量空间空间中的点具有加法和数乘的操作 内积空间向量空间上定义一个内积操作 赋范空间根据内积可以定义一个范数 度量空间范数可以用于定义一个度量 Hilbert Space如果一个空间在其定义的度量下是完备的那么这个空间叫做 Hilbert Space。[1] 完备性一个空间上的任意柯西序列必收敛于空间中的某一点——相当于闭集的定义
对于常见的Rn\mathbb{R}^nRn,满足内积运算能够推导出l2l_2l2范数且是完备的所以是希尔伯特空间。欧几里德空间 是 希尔伯特空间的一个重要特例一个抽象的希尔伯特空间中的元素往往被称为向量。在实际应用中它可能代表了一列复数或是一个函数。 核函数的再生性 对于任意的f∈Hf\in \mathcal{H}f∈H都有 f(x)f(.),k(.,x)f(x)f(.),k(.,x)f(x)f(.),k(.,x)
k(.,.)被称为希尔伯特空间H\mathcal{H}H的再生核。 由核的再生性还可以推到出 k(x,x′)k(x,.),k(.,x′)k(x,x)k(x,.),k(.,x)k(x,x′)k(x,.),k(.,x′) 再生核希尔伯特空间 由具有再生性的核 张成的希尔伯特空间 定义对于一个紧致的X∈Rd\mathcal{X}\in \mathbb{R}^dX∈Rd和希尔伯特空间H\mathcal{H}H其中元素为f:X→Rf:\mathcal{X}\rightarrow \mathbb{R}f:X→R如果存在k:X→Rk:\mathcal{X}\rightarrow \mathbb{R}k:X→R满足如下条件就叫H\mathcal{H}H为再生核希尔伯特空间。 1.kkk有再生性f(x)f(.),k(.,x)f(x)f(.),k(.,x)f(x)f(.),k(.,x) 2.kkk张成H\mathcal{H}HHspan{k(.,x):x∈X}‾\mathcal{H}\overline{span\{k(.,x):x\in \mathcal{X}\}}Hspan{k(.,x):x∈X}
所以说具有再生性的核都可以张成自己的一个再生核希尔伯特空间。
参考资料 [1]https://blog.csdn.net/hggjgff/article/details/83828394 [2]再生核希尔伯特空间https://wenku.baidu.com/view/09df5b7a11a6f524ccbff121dd36a32d7375c7c6.html [3]希尔伯特空间数学空间的神秘之地 http://www.sohu.com/a/315344647_348129介绍了一个大概从定义出发去验证希尔伯特空间
