在哪个网站可以自助建站,asp网站开发源码,长沙网站优化方案,wordpress 插件 安装教程目录 线性模型分类与回归感知机模型激活函数维度诅咒过拟合和欠拟合正则数据增强数值稳定性神经网络大家族CNNRNNGNN#xff08;图神经网络#xff09;GAN 线性模型
向量版本 y ⟨ w , x ⟩ b y \langle w, x \rangle b y⟨w,x⟩b
分类与回归
懂得两者区别激活函数图神经网络GAN 线性模型
向量版本 y ⟨ w , x ⟩ b y \langle w, x \rangle b y⟨w,x⟩b
分类与回归
懂得两者区别激活函数损失函数
感知机模型
感知机模型的本质是线性模型再加上激活函数训练数据、损失函数、梯度下降小批量梯度下降神经网络算法整体流程
初始化网络前向传播计算损失计算微分梯度下降反向传播多轮迭代 Created with Raphaël 2.3.0 开始 初始化函数 前向传播 计算损失 计算微分 梯度下降 反向传播 迭代完成 结束 yes no 激活函数
给模型加入拟合非线性功能常见激活函数 Sigmoid 0-1 二分类Tanh -1-1relu公认的最好用的激活函数之一
维度诅咒
神经网络可以很轻松的对隐藏层进行升降维升维后密度呈现指数形式逐渐下降维度太大会过拟合
过拟合和欠拟合
训练误差模型在训练集上的误差泛化误差模型在同样从原始样本的分布中抽取的无限多数据样本时模型误差的期望。现实世界不可能有无限多数据所以只能将模型应用于独立的测试集来估计泛化误差。过拟合训练误差小泛化误差大。欠拟合训练误差大泛化误差大。解决过拟合 正则化减少参数的大小数据增强对原始数据做变化增加数据量降维特征选择集成学习多个模型集成在一起早停法监控训练集和验证集的错误率 解决欠拟合 添加新特征增加模型复杂度减少正则化系数
正则
正则约束模型复杂度来防止过拟合现象的一种手段。模型复杂度是由模型参数量大小和参数的可取值范围共同决定的。正则两个方向约束模型参数量(dropout)约束模型取值范围(weight decay)利用均方范数作为硬性和软性限制衡量模型好坏可以看方差和偏差
\低方差高方差低偏差预测准且较集中预测准但较分散高偏差预测不准且较集中预测不准且比较分散 L1正则化使参数稀疏化 损失函数 原始损失函数 λ 2 m ∑ i 1 n ∣ w i ∣ \text{损失函数} \text{原始损失函数} \frac{\lambda}{2m}\sum_{i1}^{n} |w_i| 损失函数原始损失函数2mλi1∑n∣wi∣ L2正则化降低参数范围 损失函数 原始损失函数 λ 2 m ∑ i 1 n w i 2 \text{损失函数} \text{原始损失函数} \frac{\lambda}{2m} \sum_{i1}^{n} w_i^2 损失函数原始损失函数2mλi1∑nwi2 Dropout 对神经网络的节点进行随机的失活训练时失活预测是全部节点 集成学习是打比赛进行提点的一个很重要的方法
数据增强
成功的机器学习应用不是拥有最好的算法而是拥有最多的数据当数据到达一定级数后拥有相近的高准确度。
数值稳定性
计算机视觉模型很大数据集要好几万、好几亿。模型不大要需要上百。梯度消失梯度爆炸解决方法数据归一化 Z-Score归一化最大最小归一化 原因提升模型精度和收敛速度
神经网络大家族
CNN
Image SearchImage LabelingImage SegmantationObject DetectionObject TrackingOCRVideo AnnotationRecommendationImage ClassificationRobot perception以上分类不及1/10
RNN
语法语义分析信息检索自动文摘文本数据挖掘自动问答机器翻译知识图谱情感分析文本相似度文本纠错 原理下一层的输入不仅和原始输入有关还和之前的输出有关
GNN图神经网络
芯片设计场景分析与问题推理推荐系统欺诈检测与风控相关知识图谱道路交通的流量预测自动驾驶无人机等场景化学医疗等场景生物制药等场景社交网络
原理图节点边和整体进行训练
GAN
图像超分辨率艺术创作图像到图像的翻译风格迁移文本到图像的翻译图片编辑服装翻译照片表情符号图片融合图片修补
原理生成器和判别器
