扁平化网站设计教程,昆明软件开发公司推荐,推广产品的文案,东莞人才招聘信息AdaBoost 是一种迭代算法#xff0c;其核心思想是针对同一个训练集训练不同的分类器#xff0c;即弱分类器#xff0c;然后把这些弱分类器集合起来#xff0c;构造一个更强的最终分类器。算法的适应性在于前一个基本分类器分错的样本会得到加强#xff0c;加权后的全体样本…AdaBoost 是一种迭代算法其核心思想是针对同一个训练集训练不同的分类器即弱分类器然后把这些弱分类器集合起来构造一个更强的最终分类器。算法的适应性在于前一个基本分类器分错的样本会得到加强加权后的全体样本再次用来训练下一个基本分类器。同时在每一轮中加入一个新的弱分类器直至达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。
具体来说整个 AdaBoost 迭代算法包含 3 个主要步骤 1初始化训练数据的权值分布。如果有 M 个样本则每一个训练样本最开始时都被赋予相同的权值1/M。
2训练弱分类器。在训练过程中如果某个样本点已经被准确地分类那么在构造下一个训练集中它的权值就被降低相反如果某个样本点没有被准确地分类那么它的权值就得到提高。在 t 轮训练结束后根据得到的弱分类器 h_t 的性能计算该分类器对应的权值 α_t 并由 h_t 在训练集上的分类结果对权重向量 W_i→ W_(i1) 进行更新。接着权值更新过的样本集用于训练下一个分类器整个训练过程如此迭代地进行下去。
3将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后加大分类误差率小的弱分类器的权重使其在最终的分类函数中起较大的决定作用降低分类误差率大的弱分类器的权重使其在最终的分类函数中起较小的决定作用。换言之误差率低的弱分类器在最终分类器中占的权重较大否则较小。
AdaBoost 算法的特点
AdaBoost 是一种具有很高精度的分类器其算法具有如下特点
1 可以使用各种方法构建子分类器AdaBoost 算法提供对其进行组合以及提升的框架。 2 当使用简单分类器时计算出的结果是可以理解的。 3 弱分类器构造极其简单无须做特征筛选。 4 AdaBoost 算法简单不用调整分类器不会导致过拟合。
AdaBoost 算法的应用
1 用于二值分类或多分类的应用场景。 2 用于特征选择Feature Selection。 3 无须变动原有分类器而是通过组合出新的分类器提升分类器的性能。 1D1 表示样本的初始权重分配数据点包含两类数据两种颜色。在 AdaBoost算法运行过程中我们使用水平或者垂直的直线作为分类器来进行分类。算法最开始给了一个均匀分布D。因此h_1 里的每个点的权重是0.1。
2利用第一个分类器进行划分有三个数据点划分错了根据误差公式计算得到带权的误差为ɛ_1 0.10.10.1 0.3。第一个分类器的权重a_1 为0.42。根据算法要求把分错的数据点的权值变大得到新的权重分布。 至此根据分类的正确率得到一个新的样本权重分布 D_2 一个子分类器h_1。
3进行第2次迭代根据分类的正确率得到一个新的样本权重分布 D3 以及一个子分类器 h2 。 4计算最后一个分类器的错误率和权重得到最后一个分类器的权重为 h3。 5整合所有子分类器即对其进行加权求和。从结果中看即使简单的分类器组合起来也能获得很好的分类效果。
