网站开发与维护考试题目,诸暨市住房和建设局网站,怎么做网站下载链接,网站初期seo怎么做一、什么是回归算法
回归算法是一种有监督算法
回归算法是一种比较常用的机器学习算法#xff0c;用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系#xff1b;从机器学习的角度来讲#xff0c;用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系从机器学习的角度来讲用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系在算法的学习过程中试图寻找一个函数使得参数之间的关系拟合性最好
回归算法中算法(函数)的最终结果是一个连续的数据值输入值(属性值)是一个d维度的属性/数值向量
1.1 初识回归
有一个问题现在拥有一组房屋面积及其对应房价的数据如下如果有一个房屋面积为55平请问最终的租赁价格是多少比较合适?
房屋面积租赁价格100.8201.8302.2302.5705.5705.2……
我们可以构建一个函数 其中h(x) 为房价x为房屋面积根据大量的数据求出 和 的值于是能够构建出一条直线。
如果此时将测试集中的数据投入到模型中如果模型构建的比较好可以看到测试集中所有(面积价格)的点会均匀分布在直线的上下两侧而且离的直线距离不会太远 (说明方差较小) 。如果测试集中的数据大量分布在直线的上方或离直线的距离普遍较远那么说明模型质量不高需要重新训练。 如果在面积的基础上增加房间数量这一变量呢
房屋面积房间数量租赁价格1010.82011.83012.23022.57035.57025.2………
构造函数 其中h(x) 为房价根据大量的数据求出 、 、 的值于是能够构建出一个平面。我们要预测面积、房间个数和房价的映射关系构建如下模型
从Y轴向下俯视该平面可以获得该平面在 x1、 x2 两坐标轴上的投影。同样由(x1、 x2)点衍生到平面上后对应的Y轴值即是对应的房价值y或记作h(x) 如果有1个特征我们得到了一条直线模型。如果有2个特征我们得到了一个平面。如果有2个以上的特征呢
2个特征形成的平面结合目标值构成了一个三维的图像对于更高维度的思维结构人类是无法想象出来的。对于两个以上特征形成的n维模型我们称之为超平面(Hyperplane)
模型 即θ矩阵的转置乘以X的矩阵。
注所有特征默认都是列向量
1.2 导数
导数 就是曲线的斜率是曲线变化快慢的一个反应。
二阶导数 是斜率变化的反应表现曲线的 凹凸性 1.3 偏导数
导数是针对单一变量的当函数是多变量的偏导数 就是关于其中一个变量的导数而保持其他变量恒定不变固定一个变量求导数。 1.4 梯度
梯度是一个向量表示某一函数在该点处的 方向导数 沿着该方向取最大值即函数在该点处沿着该方向变化最快变化率最大即该梯度向量的模当函数为一维函数的时候梯度就是导数。
二、求解
2.1 求解方法
1.解析解最小二乘法又称最小平方法是一种数学优化技术它由两部分组成
计算所有样本误差的平均代价函数使用最优化方法寻找数据的最佳函数匹配抽象的
2.数值解梯度下降法、牛顿法、拟牛顿法等
2.2 线性回归算法的步骤
Step1画出散点图确定回归方程
Step2写出回归方程的基本形式以线性为例。最终目的是要计算出θ的值并选择最优的θ构成算法公式 Step3:写出目标函数object样本预测值与实际值的差值最小化 Step4:计算待估计参数的值求出回归方程
三、方法一极大似然估计解释最小二乘法
3.1 似然函数
前提假设对于误差 是独立同分布的服从均值为0方差为某定值的高斯分布
解释实际问题中很多随机现象可以看做众多因素的独立影响的综合反应如房价往往由距离地铁位置周围是否由学校等因素影响误差 同样如此往往服从正态分布原因中心极限定理
所以对于第i个样本误差满足如下公式 根据中心极限定理得到似然函数 取对数得到对数似然函数
化简得到目标函数 3.2 最小二乘法
对于其中 目标函数 对目标函数进行求导
3.3 最小二乘法的参数最优解
参数解析式
最小二乘法的使用要求矩阵是可逆的为了防止不可逆或者过拟合的问题存在可以增加额外数据影响导致最终的矩阵是可逆的
证明方法加入惩罚项 1 半正定对于任意的非零向量μ: 2)对于任意的实数λ0,正定λ 则恒成立。 3)从而可逆保证回归公式一定有意义
最小二乘法直接求解的难点矩阵逆的求解是一个难处
3.4 损失函数代价函数目标函数
参考机器学习之线性回归 损失函数、代价函数、目标函数
3.5 线性回归过拟合
一般来说模型的训练误差很小而预测误差很大的情况下模型存在过拟合的情况
目标函数 为了防止数据过拟合也就是的θ值在样本空间中不能过大/过小可以在目标函数之上增加一个平方和损失 正则项(norm)这里这个正则项叫做L2-norm
3.5.1 Ridge回归(岭回归)
使用L2正则的线性回归模型就称为Ridge回归(岭回归) 3.5.2 LASSO回归
使用L1正则的线性回归模型就称为LASSO回归(Least Absolute Shrinkage and Selection Operator) 3.5.3 Elasitc Net算法
同时使用L1正则和L2正则的线性回归模型就称为Elasitc Net算法(弹性网络算法) 3.5.4 Ridge(L2-norm)和LASSO(L1-norm)比较
L2-norm中由于对于各个维度的参数缩放是在一个圆内缩放的不可能导致有维度参数变为0的情况那么也就不会产生稀疏解实际应用中数据的维度中是存在噪音和冗余的稀疏的解可以找到有用的维度并且减少冗余提高回归预测的准确性和鲁棒性减少了overfitting(L1-norm可以达到最终解的稀疏性的要求)
Ridge模型具有较高的准确性、鲁棒性以及稳定性LASSO模型具有较高的求解速度。
如果既要考虑稳定性也考虑求解的速度就使用Elasitc Net 由上图可知对于二元线性回归来说L1正则的限制性区域为蓝色正方形固定区域L2正则限制性区域为蓝色圆形固定区域当目标函数前半部分与后半部分限制性条件相交时集等势线与固定区域相交交点即为最优解L1正则交点存在参数为0的情况而L2则不存在由此可推出L1正则容易产生稀疏解元素为零
3.6模型效果评判标 MSE误差平方和越趋近于0表示模型越拟合训练数据。RMSEMSE的平方根作用同MSE 取值范围(负无穷,1]值越大表示模型越拟合训练数据最优解是1当模型预测为随机值的时候有可能为负若预测值恒为样本期望 为0TSS总平方和TSS(Total Sum of Squares)表示样本之间的差异情况是伪方差的m倍RSS残差平方和RSSResidual Sum of Squares表示预测值和样本值之间的差异情况是MSE的m倍
3.7机器学习调参
在实际应用中对于各种算法模型线性回归来讲我们需要获取θ、λ、p \theta、\lambda、pθ、λ、p的值由于λ、p \lambda、pλ、p为超参数无法求解需要人为设定从而求解最优的θ \thetaθ值该过程为调参超参数
交叉验证将训练数据分为多份其中一份进行数据验证并获取最优的超参数λ \lambdaλ和p pp比如十折交叉验证、五折交叉验证scikit-learn中默认等。
四、方法二梯度下降法
参考链接https://blog.csdn.net/fenglepeng/article/details/104507269
五、局部加权回归
局部加权回归-损失函数
普通线性回归损失函数 局部加权回归损失函数 局部加权回归权重值 是权重主要是根据预测点与训练集点的距离作为数据集中的点赋权值。当某点离要预测的点越远其权重越小否则越大。常用的公式为 该函数称为指数衰减函数其中k 为波长参数它控制了权值随距离下降的速率
注意使用该方式主要应用到样本之间的相似性考虑
NOTE局部加权回归是一种非参数学习算法也就是说参数不固定在每一次预测的时候均需要使用训练数据重新训练模型参数。
