网站开发于制作总结,网站建设一般都需要什么资质,津云最新发布消息天津新增多少,淮安做微信网站说明#xff1a;本文是七月算法5月深度学习班第一次课听课笔记。只记录关键知识点#xff0c;有些没具体展开。帮助复习用。文中使用了老师课件中的公式。
微积分 导数 定义常用函数导数导数法则加法 乘法 除法 链式法则一元函数与多元函数一阶导 一元函数 f(x) 多元函…说明本文是七月算法5月深度学习班第一次课听课笔记。只记录关键知识点有些没具体展开。帮助复习用。文中使用了老师课件中的公式。
微积分 导数 定义 常用函数导数 导数法则 加法 乘法 除法 链式法则 一元函数与多元函数 一阶导 一元函数 f(x) 多元函数 二阶导 一元函数f‘’(x) 多元函数Hessian矩阵 泰勒级数 泰勒级数公式 一元版和多元版 一级导数0 这一点可能为 平稳点、极值点、鞍点。如果二级导数0是极小值点二级导数0是极大值点。二级导数0是鞍点。注意在多元函数中二级导数0就是指hession矩阵0正定矩阵。 梯度下降 为了找到函数最小值首先要求一阶导数。当原函数的导数不好求或者不可求的时候选择梯度下降。 为什么是梯度下降 在函数已知点 (xk,f(xk)) 走一个方向 delta。怎么才能让函数最快上升呢根据上面的泰勒级数公式当 delta 梯度方向的时候 可以取到最大值所以函数增长会最大。 当需要求函数最小值的时候只要沿着负梯度方向就可以了。当然这里还有一个重要的参数是步长。 概率论 随机变量 离散型 分布式函数 连续型 累计分布函数概率密度函数 高斯分布 表达式 一元版 多元函数版 中心极限定理 多个(4)泊松分布的和是高斯分布 独立高斯变量相加高斯分布 贝叶斯公式 贝叶斯公式用于推断一件事情发生的可能性。 通过 公式1和公式2推出公式3进而得到公式4贝叶斯公式。P(A|B)是后验概率P(B)是一个确定的事件P(A)是先验概率P(B|A)是似然函数。 吸毒案例学习 注意当先验概率很低的时候即使似然函数有很高的值结果也可能很低。 矩阵 特征向量与特征值 A为一个矩阵 X为一个向量r为一个实数。如果 AXrX。则X是A的特征向量r是特征值。也就是说一个向量经过矩阵A的变换之后仍然和原向量共线。 矩阵所有特征值不同 特征向量线性无关 对称矩阵特征分解 PCA 对象 操作 结果 X 协方差 Cx Cx SVD U单位特征向量 (U转置) X 内积 Y 对(X做去相关操作) Y 协方差 Cy 对角阵对角元素是X的特征值按照从小到大排序 与U中的列 特征向量正好 对应形成特征向量与特征值 U[:,:k] X 内积 降维后的矩阵 凸优化 一般有约束的优化问题 KKT条件 将约束转为无约束 凸优化问题 无约束问题求解--------SGD 有约束优化问题 --------------拉格朗日乘子--------无约束问题-----------KKT 求解
