长春做网站费用,西安平面设计公司排行,delphi7 网站开发,搭建本地网站环境文章目录 1、前言1.1 机器学习算法的两步骤1.2 机器学习算法分类 2、逻辑回归算法2.1 逻辑函数2.2 逻辑回归可以用于多类分类2.3 逻辑回归中的系数 3、线性回归算法3.1 线性回归的假设3.2 确定线性回归模型的拟合优度3.3线性回归中的异常值处理 4、支持向量机#xff08;SVMSVM算法4.1 优点4.2 缺点 小结 博客主页小智_x0___0x_ 欢迎关注点赞收藏✍️留言 系列专栏小智带你闲聊 代码仓库小智的代码仓库 1、前言
机器学习算法是一种基于数据和经验的算法通过对大量数据的学习和分析自动发现数据中的模式、规律和关联并利用这些模式和规律来进行预测、分类或优化等任务。机器学习算法的目标是从数据中提取有用的信息和知识并将其应用于新的未知数据中。
1.1 机器学习算法的两步骤
机器学习算法通常包括两个主要步骤训练和预测。在训练阶段算法使用一部分已知数据训练数据集来学习模型或函数的参数以使其能够对未知数据做出准确的预测或分类。在预测阶段算法将学习到的模型应用于新的数据通过模型对数据进行预测、分类或其他任务。
1.2 机器学习算法分类
机器学习算法可以是基于统计学原理、优化方法、神经网络等等。根据学习的方式不同机器学习算法可以分为监督学习、无监督学习和强化学习等几种类型。不同的机器学习算法适用于不同的问题和数据类型选择合适的算法可以提高机器学习的任务效果。 监督学习算法监督学习算法需要训练数据集中包含输入和对应的输出或标签信息。常用的监督学习算法包括线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、人工神经网络等。 无监督学习算法无监督学习算法不需要训练数据集中的输出信息主要用于数据的聚类和降维等问题。常用的无监督学习算法包括K均值聚类、层次聚类、主成分分析、关联规则挖掘等。 强化学习算法强化学习算法通过与环境进行交互试图找到最优策略来最大化奖励。常用的强化学习算法包括Q学习、深度强化学习算法等。
此外还有一些常用的机器学习算法和技术如集成学习、降维方法、深度学习、迁移学习、半监督学习等它们通过不同的方式和建模方法来解决不同的问题。选择合适的机器学习算法需要考虑问题的性质、数据的特点、算法的可解释性和计算效率等因素。
2、逻辑回归算法
逻辑回归是一种统计方法用于根据一个或多个自变量预测二元结果例如成功或失败。它是机器学习中的一种流行技术通常用于分类任务例如确定电子邮件是否是垃圾邮件或预测客户是否会流失。 逻辑回归模型基于逻辑函数逻辑函数是一个sigmoid函数它将输入变量映射到 0 到 1 之间的概率。然后使用该概率对结果进行预测。
逻辑回归模型由以下方程表示 P ( y 1 ∣ x ) 1 / ( 1 e − ( b 0 b 1 x 1 b 2 x 2 … b n ∗ x n ) ) P(y1|x) 1/(1e^-(b0 b1x1 b2x2 … bn*xn)) P(y1∣x)1/(1e−(b0b1x1b2x2…bn∗xn))
其中 P(y1|x) 是给定输入变量 x 时结果 y 为 1 的概率b0 是截距b1, b2, …, bn 是输入变量 x1, x2, … 的系数 xn。通过在数据集上训练模型并使用优化算法例如梯度下降来最小化成本函数通常是对数损失来确定系数。模型训练完成后就可以通过输入新数据并计算结果为 1 的概率来进行预测。将结果分类为 1 或 0 的阈值通常设置为 0.5但这可以根据情况进行调整具体任务以及误报和漏报之间所需的权衡。
2.1 逻辑函数
逻辑函数也称为 s i g m o i d sigmoid sigmoid函数是一条 S 形曲线将任何实数值映射到 0 到 1 之间的值。它的定义为 f ( x ) 1 / ( 1 e − x ) f(x) 1 / (1 e^-x ) f(x)1/(1e−x)其中 e 是自然对数的底。逻辑函数在逻辑回归中用于对二元结果的概率进行建模。 2.2 逻辑回归可以用于多类分类
逻辑回归可用于多类分类方法是为每个类创建单独的二元逻辑回归模型并选择预测概率最高的类。这被称为一对一或一对一的方法。或者我们可以使用 s o f t m a x softmax softmax回归它是逻辑回归的推广可以直接处理多个类。
2.3 逻辑回归中的系数
逻辑回归中的系数表示在保持所有其他预测变量不变的情况下预测变量发生一个单位变化时结果的对数几率的变化。优势比可用于解释系数的大小。优势比大于 1 表示预测变量增加一个单位会增加结果的可能性而优势比小于 1 表示预测变量增加一个单位会降低结果的可能性。
3、线性回归算法
线性回归是一种统计方法用于检查两个连续变量之间的关系一个自变量和一个因变量。线性回归的目标是通过一组数据点找到最佳拟合线然后可用于对未来的观察进行预测。 简单线性回归模型的方程为 y b 0 b 1 ∗ x y b0 b1*x yb0b1∗x 其中 y 是因变量x 是自变量b0 是 y 截距直线与 y 轴的交点b1 是直线的斜率。斜率表示给定 x 变化时 y 的变化。
为了确定最佳拟合线我们使用最小二乘法该方法找到使预测 y 值与实际 y 值之间的平方差之和最小化的线。线性回归也可以扩展到多个自变量称为多元线性回归。多元线性回归模型的方程为 y b 0 b 1 x 1 b 2 x 2 … b n ∗ x n y b0 b1x1 b2x2 … bn*xn yb0b1x1b2x2…bn∗xn。其中 x1, x2, …, xn 是自变量b1, b2, …, bn 是相应的系数。
线性回归可用于简单线性回归和多元线性回归问题。系数 b0 和 b1, …, bn 使用最小二乘法估计。一旦估计了系数它们就可以用于对因变量进行预测。线性回归可用于对未来进行预测例如预测股票的价格或将出售的产品的单位数量。然而线性回归是一种相对简单的方法可能并不适合所有问题。它假设自变量和因变量之间的关系是线性的但情况可能并非总是如此。此外线性回归对异常值高度敏感这意味着如果存在任何不遵循数据总体趋势的极值将会显着影响模型的准确性。
总之线性回归是一种强大且广泛使用的统计方法可用于检查两个连续变量之间的关系。它是一个简单但功能强大的工具可用于预测未来。但是请务必记住线性回归假设变量之间存在线性关系并且对异常值敏感这可能会影响模型的准确性。
3.1 线性回归的假设 线性自变量和因变量之间的关系是线性的。 独立性观察结果彼此独立。 同方差性误差项的方差在自变量的所有水平上都是恒定的。 正态性误差项呈正态分布。 无多重共线性自变量彼此不高度相关。 无自相关误差项与其自身不自相关。
3.2 确定线性回归模型的拟合优度
有多种方法可以确定线性回归模型的拟合优度 R 平方R 平方是一种统计度量表示因变量中的方差由模型中的自变量解释的比例。R 平方值为 1 表示模型解释了因变量中的所有方差值为 0 表示模型没有解释任何方差。 调整 R 平方调整 R 平方是 R 平方的修改版本它考虑了模型中自变量的数量。在比较具有不同数量自变量的模型时它可以更好地指示模型的拟合优度。 均方根误差 (RMSE)RMSE 衡量预测值与实际值之间的差异。RMSE 较低表明模型与数据的拟合效果更好。 平均绝对误差 (MAE)MAE 测量预测值与实际值之间的平均差异。MAE 越低表明模型与数据的拟合效果越好。 3.3线性回归中的异常值处理
线性回归中的异常值可能会对模型的预测产生重大影响因为它们可能会扭曲回归线。处理线性回归中的异常值有多种方法包括以下几点 删除异常值一种选择是在训练模型之前简单地从数据集中删除异常值。然而这可能会导致重要信息的丢失。 转换数据应用转换例如记录数据日志有助于减少异常值的影响。 使用稳健回归方法稳健回归方法例如 RANSAC 或 Theil-Sen对异常值的敏感度低于传统线性回归。 使用正则化正则化可以通过在成本函数中添加惩罚项来帮助防止由异常值引起的过度拟合。
总之采用什么方法将取决于特定的数据集和分析的目标。
4、支持向量机SVM算法
支持向量机 (SVM) 是一种监督学习算法可用于分类或回归问题。SVM 背后的主要思想是通过最大化间隔边界与每个类最近的数据点之间的距离来找到分隔数据中不同类的边界。这些最接近的数据点称为支持向量。 当数据不可线性分离这意味着数据不能用直线分离时SVM 特别有用。在这些情况下SVM 可以使用称为核技巧的技术将数据转换为更高维的空间其中可以找到非线性边界。SVM 中使用的一些常见核函数包括多项式、径向基函数 (RBF) 和 s i g m o i d sigmoid sigmoid。
SVM 的主要优点之一是它们在高维空间中非常有效并且即使在特征数量大于样本数量时也具有良好的性能。此外SVM 内存效率高因为它们只需要存储支持向量而不是整个数据集。另一方面SVM 对核函数和算法参数的选择很敏感。还需要注意的是SVM 不适合大型数据集因为训练时间可能相当长。总之支持向量机SVM是一种强大的监督学习算法可用于分类和回归问题特别是当数据不可线性分离时。该算法以其在高维空间中的良好性能以及发现非线性边界的能力而闻名。然而它对核函数和参数的选择很敏感也不适合大型数据集。
4.1 优点 在高维空间中有效即使当特征数量大于样本数量时SVM 也具有良好的性能。 内存效率高SVM 只需要存储支持向量而不需要存储整个数据集因此内存效率高。 通用性SVM 可用于分类和回归问题并且可以使用核技巧处理非线性可分离数据。 对噪声和异常值具有鲁棒性SVM 对数据中的噪声和异常值具有鲁棒性因为它们仅依赖于支持向量。
4.2 缺点 对核函数和参数的选择敏感SVM 的性能高度依赖于核函数的选择和算法参数。 不适合大型数据集对于大型数据集SVM 的训练时间可能会相当长。 解释结果困难解释 SVM 的结果可能很困难特别是在使用非线性核时。 不适用于重叠类当类有明显重叠时SVM 可能会遇到困难。
总之SVM 是一种强大且通用的机器学习算法可用于分类和回归问题特别是当数据不可线性分离时。然而它们可能对核函数和参数的选择敏感不适合大型数据集并且难以解释结果。 小结
今天我们学习了机器学习算法相信大家看完有一定的收获。种一棵树的最好时间是十年前其次是现在 把握好当下合理利用时间努力奋斗相信大家一定会实现自己的目标加油创作不易辛苦各位小伙伴们动动小手三连一波~~~本文中也有不足之处欢迎各位随时私信点评指正
