怎样建微信公众号,seo引擎优化外包,提高网站排名怎么做,上海工程建设安全协会网站损失函数#xff08;目标函数#xff09;是用来衡量模型的预测值与实际值之间差异的函数。对于线性回归问题#xff0c;最常用的损失函数是平方误差损失函数#xff0c;也称为均方误差#xff08;Mean Squared Error, MSE#xff09;。
平方误差损失函数的形式是#x…损失函数目标函数是用来衡量模型的预测值与实际值之间差异的函数。对于线性回归问题最常用的损失函数是平方误差损失函数也称为均方误差Mean Squared Error, MSE。
平方误差损失函数的形式是 J ( θ ) 1 2 m ∑ i 1 m ( y i − h θ ( x i ) ) 2 J(\theta) \frac{1}{2m} \sum_{i1}^{m} (y^{i} - h_{\theta}(x^{i}))^2 J(θ)2m1i1∑m(yi−hθ(xi))2
这个损失函数的来源是最小二乘法Least Squares Method其目标是最小化预测误差的平方和。下面是这个损失函数的推导过程
定义误差项 首先我们定义每个数据点的误差项 e i { e^{i}} ei为模型的预测值与实际值之间的差异即 e i y i − h θ ( x i ) e^{i}y^{i} - h_{\theta}(x^{i}) eiyi−hθ(xi)其中 h θ ( x i ) h_{\theta}(x^{i}) hθ(xi)是由参数 θ \theta θ决定的模型对第 i i i个观测值的预测。平方误差 然后我们计算每个数据点的误差的平方这是为了处理误差的正负号使得过小的误差不会被忽略同时过大的误差会受到更多的惩罚 ( e i ) 2 ( y i − h θ ( x i ) ) 2 (e^{i})^2(y^{i} - h_{\theta}(x^{i}))^2 (ei)2(yi−hθ(xi))2求和 我们对所有训练数据的平方误差求和以获得模型在整个训练集上误差的总和 ∑ i 1 m ( y i − h θ ( x i ) ) 2 \sum_{i1}^{m} (y^{i} - h_{\theta}(x^{i}))^2 i1∑m(yi−hθ(xi))2均值 为了使得损失函数不受样本数量 m m m的影响我们取平方误差的均值即除以 m m m 1 m ∑ i 1 m ( y i − h θ ( x i ) ) 2 \frac{1}{m} \sum_{i1}^{m} (y^{i} - h_{\theta}(x^{i}))^2 m1i1∑m(yi−hθ(xi))2乘以 1/2 最后我们常常在损失函数前面乘以 1 2 \frac{1}{2} 21这样做的主要原因是在对损失函数求导时这个系数可以正好抵消掉平方项前的 2简化后续的求导计算 J ( θ ) 1 2 m ∑ i 1 m ( y i − h θ ( x i ) ) 2 J(\theta) \frac{1}{2m} \sum_{i1}^{m} (y^{i} - h_{\theta}(x^{i}))^2 J(θ)2m1i1∑m(yi−hθ(xi))2
在实际的线性回归模型训练中我们通过最小化这个损失函数来找到最优的参数 θ \theta θ使得模型的预测值尽可能地接近实际值这个过程通常是通过梯度下降来完成的。