门户网站开发过程视频,网站域名登录不了,临海网站制作,河池公司做网站1. 概述
方法适用问题模型特点模型类型学习策略损失函数学习算法1感知机二分类分离超平面判别模型极小化误分点到超平面距离误分点到超平面距离SGD2KNN多分类#xff0c;回归特征空间#xff0c;样本点判别模型---3朴素贝叶斯多分类特征与类别的联合概率分布#xff0c;条件…1. 概述
方法适用问题模型特点模型类型学习策略损失函数学习算法1感知机二分类分离超平面判别模型极小化误分点到超平面距离误分点到超平面距离SGD2KNN多分类回归特征空间样本点判别模型---3朴素贝叶斯多分类特征与类别的联合概率分布条件独立假设生成模型极大似然估计极大后验概率估计对数似然损失概率计算公式EM算法4DT多分类回归分类树回归树判别模型正则化的极大似然估计对数似然损失特征选择生成剪枝5LR与最大熵模型多分类特征条件下类别的条件概率分布对数线性模型判别模型极大似然估计正则化的极大似然估计逻辑斯蒂损失改进的迭代尺度算法梯度下降拟牛顿法6SVM二分类分离超平面核技巧判别模型极小化正则化合页损失软间隔最大化合页损失序列最小最优算法SMO7提升方法二分类弱分类器的线性组合判别模型极小化加法模型的指数损失指数损失前向分布加法8EM算法概率模型参数估计含隐变量概率模型-极大似然估计极大后验概率估计对数似然损失迭代算法9隐马尔可夫模型标注观测序列与状态序列的联合概率分布模型生成模型极大似然估计极大后验概率估计对数似然损失概率计算公式EM算法10条件随机场标注状态序列条件下观测序列的条件概率分布对数线性模型判别模型极大似然估计正则化极大似然估计对数似然损失改进的迭代尺度算法GD拟牛顿法
2. 适用问题 1. 分类问题是从实例的特征向量到类标记的预测问题 2. 标注问题是从观测序列到标记序列(或状态序列)的预测问题可以认为分类问题是标注问题的特殊情况 分类问题与标注问题都可以写成条件概率分布P(Y|X)或决策函数Yf(X)的形式前者表示给定输入条件下输出的概率模型后者表示输入到输出的非概率模型。有时模型更直接地表示为概率模型(如朴素贝叶斯、隐马尔可夫)或非概率模型(如感知机knnSVM提升方法)有时模型兼有两种解释(如DTLR与最大熵模型条件随机场)。
3. 模型 直接学习条件概率分布P(Y|X)或决策函数Yf(X)的方法为判别方法对应的模型是判别模型如感知机knnDTLR与最大熵模型SVM提升方法条件随机场。 首先学习联合概率分布P(Y|X)从而求得条件概率分布P(Y|X)的方法是生成方法对应的 模型是生成模型如朴素贝叶斯、隐马尔可夫。可以用非监督学习的方法学习生成模型朴素贝叶斯、隐马尔可夫可应用EM算法学习。 DT是定义在一般的特征空间上的可以含有连续变量或离散变量 感知机、svm、knn的特征空间是欧氏空间。 感知机模型是线性模型而LR与最大熵模型、条件随机场是对数线性模型 knn、DT、SVM(包含核函数)、提升方法使用的是非线性模型。 4. 学习策略 概率模型的学习可以形式化为极大似然估计或贝叶斯估计的极大后验概率估计。这时学习的策略是极小化对数似然损失或极小化正则化的对数似然损失 -logP(y|x) 。极大后验概率估计时正则化项是先验概率的负对数。 统计学习的问题有了具体的形式后就变成了最优化问题最优化问题大多数时候没有解析解需要用数值计算的方法或启发式的方法求解。SVM、LR与最大熵模型、条件随机场是凸优化问题存在全局最优解而其他学习问题则不是凸优化问题不能保证全局最优解存在。
