做地方网站,手机网站前端写法,一键生成app软件下载,手机网站建设 移商动力常见组合函数 常见激活函数 结构 
前馈神经网络#xff08;单向#xff09;反馈/循环神经网络 
学习方法 学习模型 增量迭代  类型 监督无监督  学习策略 Hebbrian Learning 若两端的神经元同时激活#xff0c;增强联接权重Unsupervised Learning循环#xff1f;ωij(t1)ω…常见组合函数 常见激活函数 结构 
前馈神经网络单向反馈/循环神经网络 
学习方法 学习模型 增量迭代  类型 监督无监督  学习策略 Hebbrian Learning 若两端的神经元同时激活增强联接权重Unsupervised Learning循环ωij(t1)ωij(t)η(xi(t),xj(t))\omega_{ij}(t1)\omega_{ij}(t)\eta(x_i(t),x_j(t))ωij(t1)ωij(t)η(xi(t),xj(t)) Error Correction 最小化实际和输出的误差 BP 目标函数ω∗argminω1KΣk1Ke(Dk,Yk)\omega^* argmin_{\omega} \frac{1}{K} \Sigma_{k1}^Ke(D_k,Y_k)ω∗argminωK1Σk1Ke(Dk,Yk)迭代ω←ωΔωωηδ\omega \leftarrow \omega\Delta \omega \omega\eta \deltaω←ωΔωωηδ delta rule(LMS rule,windrow-hoff  随机学习模拟退火 采用随机模式跳出局部极小 如果网络性能提高新参数被接受.否则新参数依概率接受    
重要的ANN 
…损失函数……目标函数……激活函数……更新…特点多层感知机MLP全连接)L(y,f(x))R(f)∫L(y,f(x))p(x,y)dx,RemfΣL(y,f(x))R(f) \int L(y,f(x))p(x,y)dx,R_{emf}\Sigma L(y,f(x))R(f)∫L(y,f(x))p(x,y)dx,RemfΣL(y,f(x))vσiωixi,yf(v)v\sigma_i\omega_ix_i,yf(v)vσiωixi,yf(v)梯度法-多层感知机MLP全连接–BP网络)平方误差-vσiωixi,yf(v)f是sigmoidωargmin(E)v\sigma_i\omega_ix_i,yf(v)f是sigmoid\omegaargmin(E)vσiωixi,yf(v)f是sigmoidωargmin(E)输入从前向后损失从后向前链式法则,梯度下降法允许非线性收敛慢过拟合局部极小表达能力强容易执行单层感知机看分类对错-ωx0,一面1一面−1权向量是一个超平面\omega x0,一面1一面-1权向量是一个超平面ωx0,一面1一面−1权向量是一个超平面ωωy∗⋅xy∗1或−1C真实y正确y∗y)\omega\omegay^* ·xy^* 1或-1C真实y正确y^* y )ωωy∗⋅xy∗1或−1C真实y正确y∗y)仅当线性可分时收敛对噪声不可分/泛化性不好单层感知机(最小二乘法平方损失12Σi1nΣk1m(yk(xi)−tk,i)2\frac{1}{2}\Sigma_{i1}^n\Sigma_{k1}^m(y_k(x_i)-t_{k,i})^221Σi1nΣk1m(yk(xi)−tk,i)2-yv(线性的yv(线性的yv(线性的wT(XTX)−1XTTw^T(X^TX)^{-1}X^TTwT(XTX)−1XTT仅当线性可分时收敛对噪声不可分/泛化性不好单层感知机(改进平方损失E12Σi1nΣk1m(yk(xi)−tk,i)2\frac{1}{2}\Sigma_{i1}^n\Sigma_{k1}^m(y_k(x_i)-t_{k,i})^221Σi1nΣk1m(yk(xi)−tk,i)2-y11e−v(sigmoidy\frac{1}{1e^{-v}}(sigmoidy1e−v1(sigmoid$\frac{\partial E}{\partial w_k}\Sigma_{i1}n\Sigma_{k1}m(y_k(x_i)-t_{k,i})y_k(x_i)(1-y_k(x_i))x_i$仅当线性可分时收敛对噪声不可分,泛化性不好支持向量机-最大化间隔约束minω12∥ω∥2,yiωTxi≥1任意i小于则为0relu)min_\omega \frac{1}{2} \|\omega\|^2,y_i\omega^Tx_i \geq 1任意i小于则为0relu)minω21∥ω∥2,yiωTxi≥1任意i小于则为0relu)--可以找到最好的分界面解决了泛化性Hopfield网络(能量稳定点-记忆-有输入E−12Σi0nΣj0nωijsisj−Σi0nIisi,没有输入则去除后面的E-\frac{1}{2}\Sigma_{i0}^n\Sigma_{j0}^n\omega_{ij}s_is_j-\Sigma_{i0}^nI_is_i,没有输入则去除后面的E−21Σi0nΣj0nωijsisj−Σi0nIisi,没有输入则去除后面的wijji(ij)权值是设定的wijΣk1Kxikxjk,i≠j,否则0(n∗n矩阵sx)权值是设定的w_{ij}\Sigma_{k1}^Kx_{ik}x_{jk},i\neq j,否则0(n* n矩阵sx)权值是设定的wijΣk1Kxikxjk,ij,否则0(n∗n矩阵sx)f分布式记忆动态联想记忆容量有限伪稳定点的联想与记忆样本接近时难以回忆
感知机 感知机收敛定理线性可分则收敛 w、x是增广得到的若数据集可分 存在w∗(∣∣w∗∣∣1),γ0,使得ytw∗xt≥γw^* (||w^* ||1),\gamma0,使得y_tw^* x_t\geq \gammaw∗(∣∣w∗∣∣1),γ0,使得ytw∗xt≥γ 令最终分离超平面参数为w∗(∣∣w∗∣∣1)w^* (||w^* ||1)w∗(∣∣w∗∣∣1) wkw∗(wk−1xtyt)w∗≥wk−1w∗γ≥...≥kγw_kw^* (w_{k-1}x_ty_t)w^* \geq w_{k-1}w^*  \gamma \geq ...\geq k\gammawkw∗(wk−1xtyt)w∗≥wk−1w∗γ≥...≥kγ∣∣wk∣∣2∣∣wk1xtyt∣∣2∣∣wk−1∣∣22wk−1Txtyt∣∣xt∣∣2||w_k||^2||w_{k1}x_ty_t||^2||w_{k-1}||^22w_{k-1}^Tx_ty_t||x_t||^2∣∣wk∣∣2∣∣wk1xtyt∣∣2∣∣wk−1∣∣22wk−1Txtyt∣∣xt∣∣2——yt1≤∣∣wk−1∣∣2∣∣xt∣∣2≤∣∣wk−1∣∣2R2≤...≤kR2\leq ||w_{k-1}||^2||x_t||^2\leq ||w_{k-1}||^2R^2 \leq ...\leq kR^2≤∣∣wk−1∣∣2∣∣xt∣∣2≤∣∣wk−1∣∣2R2≤...≤kR2所以kγ≤wkw∗≤∣∣wk∣∣∣∣w∗∣∣≤kRk\gamma \leq w_kw^* \leq ||w_k||||w^* || \leq \sqrt{k} Rkγ≤wkw∗≤∣∣wk∣∣∣∣w∗∣∣≤kRk≤R2γ2k\leq \frac{R^2}{\gamma^2}k≤γ2R2   改进 sigmoid激活函数 批处理 一次性更新权重收敛慢 增量模式 逐样本更新随机近似但速度快能保证收敛    MLP多层感知机 在实际应用中 预处理很重要—normalize调整学习率——ηt1/t\eta_t1/tηt1/t 表达能力强容易执行收敛速度慢 newton法 过拟合 正则化约束权值平滑性采用更少的隐层单元 局部极小不同的初始化增加扰动三层-所有连续函数4层多层连续权重如何学习BP–链式法则计算反向传递  
Hopfield 
应用 将优化目标函数转换成能量函数(energy function)——网络的稳定状态是优化问题的解 两个稳态——解 E最大——w1E最小——w2 两个工作方式 异步每次只改变一个状态x_i同步所有状态均改变x1~xn 反馈网络无向有权图权值是设定的而不是学习出来的TSP: Hopfield网络l邻接矩阵行城市列时间每行只有一个亮每列也只有一个on