都匀住房和城乡建设厅网站,比较好的建站网站,wordpress优惠券自动使用,网站如何做视频教程文章目录 上一篇机器学习概述归纳(示例)学习ID3决策树算法K近邻算法下一篇 上一篇
人工智能原理复习–搜索策略#xff08;二#xff09;
机器学习概述
学习系统的基本结构#xff1a; #mermaid-svg-JMjIZHjVOirLolvu {font-family:trebuchet ms,verdana,ari… 文章目录 上一篇机器学习概述归纳(示例)学习ID3决策树算法K近邻算法下一篇 上一篇
人工智能原理复习–搜索策略二
机器学习概述
学习系统的基本结构 #mermaid-svg-JMjIZHjVOirLolvu {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-JMjIZHjVOirLolvu .error-icon{fill:#552222;}#mermaid-svg-JMjIZHjVOirLolvu .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-JMjIZHjVOirLolvu .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-JMjIZHjVOirLolvu .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-JMjIZHjVOirLolvu .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-JMjIZHjVOirLolvu .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-JMjIZHjVOirLolvu .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-JMjIZHjVOirLolvu .marker{fill:#333333;stroke:#333333;}#mermaid-svg-JMjIZHjVOirLolvu .marker.cross{stroke:#333333;}#mermaid-svg-JMjIZHjVOirLolvu svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-JMjIZHjVOirLolvu .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-JMjIZHjVOirLolvu .cluster-label text{fill:#333;}#mermaid-svg-JMjIZHjVOirLolvu .cluster-label span{color:#333;}#mermaid-svg-JMjIZHjVOirLolvu .label text,#mermaid-svg-JMjIZHjVOirLolvu span{fill:#333;color:#333;}#mermaid-svg-JMjIZHjVOirLolvu .node rect,#mermaid-svg-JMjIZHjVOirLolvu .node circle,#mermaid-svg-JMjIZHjVOirLolvu .node ellipse,#mermaid-svg-JMjIZHjVOirLolvu .node polygon,#mermaid-svg-JMjIZHjVOirLolvu .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-JMjIZHjVOirLolvu .node .label{text-align:center;}#mermaid-svg-JMjIZHjVOirLolvu .node.clickable{cursor:pointer;}#mermaid-svg-JMjIZHjVOirLolvu .arrowheadPath{fill:#333333;}#mermaid-svg-JMjIZHjVOirLolvu .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-JMjIZHjVOirLolvu .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-JMjIZHjVOirLolvu .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-JMjIZHjVOirLolvu .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-JMjIZHjVOirLolvu .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-JMjIZHjVOirLolvu .cluster text{fill:#333;}#mermaid-svg-JMjIZHjVOirLolvu .cluster span{color:#333;}#mermaid-svg-JMjIZHjVOirLolvu div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-JMjIZHjVOirLolvu :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 环境 学习 知识库 执行 环境向系统的学习部分提供某些信息 学习利用这些信息修改数据库以怎金系统执行部分完成任务的效能 执行部分根据知识库完成任务同时把获得的信息反馈给学习部分
最重要的因素是环境向系统提供的信息
机器学习分类
监督学习决策树、支持向量机SVM、k-临近算法(KNN)无监督学习k-均值、DBSCAN密度聚类算法、最大期望算法强化学习环境奖励状态 动作– 状态奖励
归纳(示例)学习
归纳学习是一种通过观察和分析现象发现其中规律和模式并据此进行预测和决策的方法。归纳学习的基本思想是通过从数据样本中归纳出一般性规律或模式从而实现对未知数据的预测和分类。
归纳学习是通过一系列的示例正例和反例出发生成一个反映这些示例本质的定义
覆盖所有的正例而不包含任何反例可用来指导对新例子的分类识别
归纳学习过程可以分为以下几个步骤
数据采集收集需要学习的数据样本。特征提取从数据样本中提取出有用的特征用于归纳学习。模型训练使用归纳学习算法从数据样本中归纳出一般性规律或模式。模型评估使用测试数据对归纳模型进行评估计算出模型的准确率和误差。模型应用使用归纳模型对新的数据进行分类或预测。
概念描述搜索及获取
例子空间所有可能的正例、反例构成的空间假设空间所有可能的假设概念描述构成的空间顶层假设最泛化的概念描述不指定任何的特征值底层假设最特化具体的概念描述所有特征都给定特征值假设空间的搜索方法1、特化搜索宽度优先自顶向下 2、泛化搜索宽度优先自底向上 3、双向搜索版本空间法
ID3决策树算法
信息的定量描述 衡量信息多少的物理量称为信息量
若概率很大受信者事先已有所估计则该消息信息量就很小若概率很小受信者感觉很突然该信息所含信息量就很大
使用信息量函数 f ( p ) f(p) f(p)描述 f ( p ) f(p) f(p)条件 f ( p ) f(p) f(p) 应是p的严格单调递减函数当p 1时 f ( p ) 0 f(p) 0 f(p)0, 当p 0时 f ( p ) ∞ f(p) \infty f(p)∞当两个独立事件的联合信息量应等于他们分别的信息量之和
信息量定义 :若一个消息 x x x 出现的的概率为 p p p, 则这一消息所含信息量为 I − log p I - \log{p} I−logp
单位
以2为底单位 b i t bit bit (常用)以e为底单位 n a t nat nat以10为底单位 h a r t hart hart
信息熵 所有可能消息的平均不确定性信息量的平均值 H ( X ) − ∑ p ( x i ) log ( p ( x i ) ) H(X) -\sum{p(x_i)\log{(p(x_i))}} H(X)−∑p(xi)log(p(xi)) 定义 M ( C ) M(C) M(C) 为根节点总的信息熵 B ( C , A ) B(C, A) B(C,A) 为根据A属性分类后的加权信息熵的和每一类占全部的比例作为加权将分完之后的信息熵加权求和 g a i n M ( C ) − B ( C , A ) gain M(C) - B(C,A) gainM(C)−B(C,A)信息增益信息增益越大越好
分别求出每个属性的信息增益然后将最大的作为这个节点的分类属性
步骤
首先求出根节点的信息熵然后按每个特征求出对应的信息增益比较得出最大的信息增益的特征作为给节点的划分属性循环1-3步直到将全部类别分开或者划分比例达到要求值
d ID3算法 优点
计算复杂度不高输出结果易于理解可以处理不相关特征数据
缺点
不能处理带有缺失值的数据集在进行算法学习之前需要对数据集中的缺失值进行预处理存在过拟合问题
K近邻算法
一种监督学习分类算法没有学习过程在分类时通过类别已知的样本对新样本的类别进行预测。
基本思路
通过以某个数据为中心分析离其最近的K个邻居的类型获得该数据可能的类型以少数服从多数的原理推断出测试样本的类别
只要训练样本足够多K近邻算法就能达到很好的分类效果 当K 3时即选择最近的3个点由于三角形样本所占近邻样本的比例为2/3于是可以得出圆形输入实例应该为三角形当K 5时由于长方形样本栈近邻样本比例为3/5此时测试样本被归为长方形类别。
步骤
计算测试数据与每个训练数据之间的距离按照距离的递增关系进行排序选取距离最小的k个点确定前k个点所在类别的出现频率返回前k个点中出现频率最高的类别做为测试数据的预测分类
优点
简单便于理解和实现应用范围广分类效果好无需进行参数估计
缺点
样本小时误差难以估计存储所有样本需要较大存储空间大样本计算量大k的取值对结果也有较大影响k较小对噪声敏感k过大可能包含别的类样本
下一篇
未完待续
