网站点击率原因,全屋定制怎么样做网站,优化设计官方电子版,上海定制建站网站建设来自#xff1a;http://blog.csdn.net/fengzhe0411/article/details/7165549 最近几天在看模式识别方面的资料#xff0c;多次遇到“overfitting”这个概念#xff0c;最终觉得以下解释比较容易接受#xff0c;就拿出来分享下。 overfittingt是这样一种现象#xff1a;一个… 来自http://blog.csdn.net/fengzhe0411/article/details/7165549 最近几天在看模式识别方面的资料多次遇到“overfitting”这个概念最终觉得以下解释比较容易接受就拿出来分享下。 overfittingt是这样一种现象一个假设在训练数据上能够获得比其他假设更好的拟合但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfitting的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。而解决overfit的方法主要有两种提前停止树的增长或者对已经生成的树按照一定的规则进行后剪枝。 百度中关于overfitting的标准定义给定一个假设空间H一个假设h属于H如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小但在整个实例分布上h’比h的错误率小那么就说假设h过度拟合训练数据。 .......................... 以下概念由本人摘自《数据挖掘-概念与技术》 P186 过分拟合 即在机器学习期间它可能并入了训练数据中的某些特殊的异常点这些异常不在一般数据集中出现。 P212 由于规则可能过分拟合这些数据因此这种评论是乐观的。也就是说规则可能在训练数据上行能很好但是在以后的数据上九不那么好。 ............................ 补充c4.5算法中的介绍 这个通俗易懂 决策树为什么要剪枝原因就是避免决策树“过拟合”样本。前面的算法生成的决策树非常的详细而庞大每个属性都被详细地加以考虑决策树的树叶节点所覆盖的训练样本都是“纯”的。因此用这个决策树来对训练样本进行分类的话你会发现对于训练样本而言这个树表现堪称完美它可以100%完美正确得对训练样本集中的样本进行分类因为决策树本身就是100%完美拟合训练样本的产物。但是这会带来一个问题如果训练样本中包含了一些错误按照前面的算法这些错误也会100%一点不留得被决策树学习了这就是“过拟合”。C4.5的缔造者昆兰教授很早就发现了这个问题他作过一个试验在某一个数据集中过拟合的决策树的错误率比一个经过简化了的决策树的错误率要高。那么现在的问题就来了如何在原生的过拟合决策树的基础上通过剪枝生成一个简化了的决策树 最近在看TLD中的2bitBP特征其中一个就提到了2bitBP能够防止过拟合的特点除此之外这种特征在跟踪过程中还可以克服光照的影响而且输出只有4中编码。属于轻量级别的。 随机森林的好处就是计算量很小并且很精确。 转载于:https://www.cnblogs.com/lxy2017/p/4037368.html
