上海最专业的网站设计制,西安百度公司官网,企业管理系统的构成状况,好看的免费网站模板下载线性回归所解决的问题是把数据集的特征传入到模型中#xff0c;预测一个值使得误差最小#xff0c;预测值无限接近于真实值。比如把房子的其他特征传入到模型中#xff0c;预测出房价#xff0c; 房价是一系列连续的数值#xff0c;线性回归解决的是有监督的学习。有很多场…线性回归所解决的问题是把数据集的特征传入到模型中预测一个值使得误差最小预测值无限接近于真实值。比如把房子的其他特征传入到模型中预测出房价 房价是一系列连续的数值线性回归解决的是有监督的学习。有很多场景预测出来的结果不一定是连续的我们要解决的问题并不是一直类似于房价的问题。
分类问题
预测是红细胞还是白细胞红细胞和白细胞是两个完全不同的类别。预测的时候首先要有历史数据训练出模型然后对模型进行反复的评估后得到理想的模型然后把新的数据传入到模型中进行一系列的预测得到是红细胞(0)或者白细胞(1)这是最简单的二分类的问题。 如果用线性回归解决分类问题 y 0 y0 y0为红细胞 y 1 y1 y1为白细胞数据集的呈现情况如下图所示此时需要找到一条线把二者分开用线性回归去做的话一要考虑代价函数最小(误差最小)二要将数据最好的分开。要将红白细胞分开的话在线上取一个值(0.5)若 h ( x ) 0.5 h(x)0.5 h(x)0.5的话得到的点在上方预测的结果为1如果 h ( x ) 0.5 h(x)0.5 h(x)0.5的话得到的点在下方预测的结果为0。 如果数据中多了一个样本点如下图所示拟合线的求解应该是代价函数最小拟合线会出现往右侧拓展的情况为图中蓝色的线如果 h ( x ) 0.5 h(x)0.5 h(x)0.5的话会出现在A区域的点不是完全为1的。也就是说当数据中出现了一个异常的样本点的时候用线性回归模型解决问题的时候就会让我们整体的预测都发生变化这时就要引入逻辑回归算法。
逻辑回归
逻辑回归算法是当今最流行以及使用最广泛的算法之一。虽然它的名字中含有回归二字但实际上是用来解决分类问题的。常用的场景数据挖掘疾病自动诊断经济预测领域还有垃圾邮件分类等。逻辑回归在深度学习中也是比较重要的它是个比较经典的算法它的很多原理被用在深度学习、神经网络中。
逻辑回归的实现
预测函数 h ( x ) θ T X h(x)θ^TX h(x)θTX预测值会远远大于1或远远小于0就无法做分类目标将 h ( x ) h(x) h(x)进行收敛到0和1之间 0 h ( x ) 0 1 0h(x)01 0h(x)01。 实现使用 s i g m o i d ( L o g i s t i c ) sigmoid(Logistic) sigmoid(Logistic)函数 g ( z ) 1 1 e − z g(z)\frac{1}{1e^{-z}} g(z)1e−z1。当 z z z趋向于 ∞ ∞ ∞ e − z e^{-z} e−z趋向于0 g ( z ) g(z) g(z)就无限趋向于1当 z z z趋向于 − ∞ -∞ −∞ e − z e^{-z} e−z趋向于 ∞ ∞ ∞ g ( z ) g(z) g(z)就无限趋向于0。
把 h ( x ) h(x) h(x)代入到 g ( z ) g(z) g(z)中去得到 g ( θ T X ) 1 1 e − θ T X g(θ^TX)\frac{1}{1e^{-θ^TX}} g(θTX)1e−θTX1,可以将 g ( θ T X ) g(θ^TX) g(θTX)映射到0和1之间。 当 θ T X 0 θ^TX0 θTX0的时候 g ( θ T X ) 0.5 g(θ^TX)0.5 g(θTX)0.5趋近于1 当 θ T X 0 θ^TX0 θTX0的时候 g ( θ T X ) 0.5 g(θ^TX)0.5 g(θTX)0.5趋近于0。公式还可以写为 h ( x ) 1 1 e − θ T X h(x)\frac{1}{1e^{-θ^TX}} h(x)1e−θTX1。 将一组数据训练出来模型将新的数据代入到模型中得到预测的结果结果不可能刚好是0或者1也可能在0和1之间若得到的结果 h ( x ) 0.7 h(x)0.7 h(x)0.7可以预测有70%的几率为白细胞(1)为红细胞(0)的概率为30%。为其中一种的概率 h ( x ) P ( y 1 ∣ x ; θ ) h(x)P(y1|x;θ) h(x)P(y1∣x;θ)在 y 1 y1 y1的条件下 x x x的概率两者之间的概率和 P ( y 1 ∣ x ; θ ) P ( y 0 ∣ x ; θ ) 1 P(y1|x;θ)P(y0|x;θ)1 P(y1∣x;θ)P(y0∣x;θ)1。
总结 h ( x ) h(x) h(x)使用 g ( θ T X ) g(θ^TX) g(θTX)收敛到0和1之间。 h ( x ) g ( θ T X ) P ( y 1 ∣ x ; θ ) h(x)g(θ^TX)P(y1|x;θ) h(x)g(θTX)P(y1∣x;θ) g ( z ) 1 1 e − z g(z)\frac{1}{1e^{-z}} g(z)1e−z1 当 θ T X 0 , h ( x ) 0.5 θ^TX0,h(x)0.5 θTX0,h(x)0.5则预测 y 1 y1 y1 当 θ T X 0 , h ( x ) 0.5 θ^TX0,h(x)0.5 θTX0,h(x)0.5则预测 y 0 y0 y0
决策边界
帮助我们更好的理解逻辑回归理解函数表达的内涵 x 1 x_1 x1 x 2 x_2 x2分布代表特征得到 h ( x ) g ( θ 0 θ 1 x 1 θ 2 x 2 ) h(x)g(θ_0θ_1x_1θ_2x_2) h(x)g(θ0θ1x1θ2x2)后半部分相当于 θ T X θ^TX θTX。 如下图所示假设 θ 0 − 3 θ 1 1 θ 2 1 θ_0-3θ_11θ_21 θ0−3θ11θ21得到 θ T X − 3 x 1 x 2 θ^TX-3x_1x_2 θTX−3x1x2如果 − 3 x 1 x 2 0 -3x_1x_20 −3x1x20意味着 h ( x ) 0.5 h(x)0.5 h(x)0.5值更加接近于1则 y 1 y1 y1划分为1的可能性比较大如果 − 3 x 1 x 2 0 -3x_1x_20 −3x1x20意味着 h ( x ) 0.5 h(x)0.5 h(x)0.5值更加接近于0则 y 0 y0 y0划分为0的可能性比较大。根据表达式画线将 − 3 -3 −3移到等号的右边当 x 1 0 x_10 x10时 x 2 3 x_23 x23当 x 2 0 x_20 x20时 x 1 3 x_13 x13两点之间画线在线上方是 x 1 x 2 3 x_1x_23 x1x23的部分类别预测为1同理可得在线下方类别预测为0。
在下图中用叉号表示正样本用圈表示负样本此时不能用一条直线将二者进行划分了在之前线性回归的时候如果数据不能用一条直线拟合用多项式回归添加一些高阶的式子。在逻辑回归的时候也可以使用相同的方法。 h ( x ) g ( θ 0 θ 1 x 1 θ 2 x 2 θ 3 x 1 2 θ 4 x 2 2 ) h(x)g(θ_0θ_1x_1θ_2x_2θ_3x_1^2θ_4x_2^2) h(x)g(θ0θ1x1θ2x2θ3x12θ4x22)其中 θ 0 θ 1 x 1 θ 2 x 2 θ 3 x 1 2 θ 4 x 2 2 θ_0θ_1x_1θ_2x_2θ_3x_1^2θ_4x_2^2 θ0θ1x1θ2x2θ3x12θ4x22相当于 θ T X θ^TX θTX。 如下图所示假设 θ 0 − 1 θ 1 0 θ 2 0 θ 3 1 θ 4 1 θ_0-1θ_10θ_20θ_31θ_41 θ0−1θ10θ20θ31θ41代入公式后得到 θ T X − 1 x 1 2 x 2 2 θ^TX-1x_1^2x_2^2 θTX−1x12x22若 − 1 x 1 2 x 2 2 0 -1x_1^2x_2^20 −1x12x220则可以得到 θ T X x 1 2 x 2 2 1 θ^TXx_1^2x_2^21 θTXx12x221 h ( x ) h(x) h(x)的值大于0.5类别划分为1否则类别划分为0。 x 1 2 x 2 2 1 x_1^2x_2^21 x12x221是以原点为圆心半径为1的标准圆也即是决策边界在圆外部的点是要大于半径的属于类别为1的反之在圆内部的点是小于半径的属于类别为0的。决策边界是通过 θ θ θ来确定的 h ( x ) 1 1 e − θ T X h(x)\frac{1}{1e^{-θ^TX}} h(x)1e−θTX11和e都是常数X为数据样本集(特征)只有 θ θ θ是个参数只要确定了 θ θ θ也就确定了决策边界 h ( x ) h(x) h(x)也就可以预测边界 h ( x ) h(x) h(x)的值。 求解 θ θ θ值跟线性回归有类似之处求 θ θ θ是基于代价函数的使得代价函数最小求得 θ θ θ值。
代价函数
凸函数只有1个全局最优解非凸函数求最优解的时候很有可能陷入到局部最优解中而不是全局最小值。非凸函数无法通过梯度下降法取得全局最小值。 线性回归所定义的代价函数为 J ( θ ) 1 2 m ∑ i 1 m ( h ( x i ) − y i ) 2 J(θ) \frac{1}{2m}\displaystyle{\sum_{i1}^{m}(h(x^i)-y^i)^2} J(θ)2m1i1∑m(h(xi)−yi)2真实值减去预测值的平方求和然后除以特征的个数也就是均方误差此时 h ( x i ) θ 0 θ 1 x i h(x^i)θ_0θ_1x^i h(xi)θ0θ1xi如果把代价函数运用到逻辑回归当中此时 h ( x i ) h(x^i) h(xi)不再是简单的线性回归关系而是 h ( x ) 1 1 e − θ T X h(x)\frac{1}{1e^{-θ^TX}} h(x)1e−θTX1把等号后面的内容整体代入到代价函数中去图形就会变成非凸函数不便于求全局最小值。 目标找到一个不同的代价函数能使得 J ( θ ) J(θ) J(θ)变为凸函数。 实现使用对数去掉指数化带来的影响转化为线性关系用对数把指数对冲掉。 2 n 4 2^n4 2n4可以转换为 l o g 2 4 n log_24n log24n求得 n 2 n2 n2。 解决方法转为凸函数如果为一元直接求二阶导若大于等于零则为凸函数如果为多元的借助hessian矩阵来解决涉及到正定性。 作用凸函数的局部最优解就是全局最优解。
当 y 1 y1 y1时代价函数 C o s t ( h ( x ) , y ) − l o g e ( h ( x ) ) Cost(h(x),y)-log_e(h(x)) Cost(h(x),y)−loge(h(x)) C o s t Cost Cost为当前样本预测的损失。P为概率 y 1 y1 y1的概率。 当 y 1 y1 y1时 h ( x ) h(x) h(x)要接近于1才能使得代价函数最小 y y y为真实值类别为1 h ( x ) P ( y 1 ∣ x ; θ ) h(x)P(y1|x;θ) h(x)P(y1∣x;θ)为预测值为1的概率概率越大就意味着越接近于结果 y 1 y1 y1。如果 h ( x ) 1 h(x)1 h(x)1是最好的效果 C o s t − l o g e ( h ( x ) ) 0 Cost-log_e(h(x))0 Cost−loge(h(x))0意味着损失最小代价函数为0 如果 h ( x ) 0 h(x)0 h(x)0 h ( x ) P ( y 1 ∣ x ; θ ) h(x)P(y1|x;θ) h(x)P(y1∣x;θ)为预测值为1的概率为0 C o s t ( h ( x ) , y ) − l o g e ( h ( x ) ) Cost(h(x),y)-log_e(h(x)) Cost(h(x),y)−loge(h(x))为无穷大损失值非常大。 当 y 0 y0 y0时代价函数 C o s t ( h ( x ) , y ) − l o g e ( 1 − h ( x ) ) Cost(h(x),y)-log_e(1-h(x)) Cost(h(x),y)−loge(1−h(x)) 当 y 0 y0 y0时 h ( x ) h(x) h(x)为1 C o s t ( h ( x ) , y ) − l o g e ( 1 − h ( x ) ) Cost(h(x),y)-log_e(1-h(x)) Cost(h(x),y)−loge(1−h(x))预测值为1的概率为0 l o g ( 1 − h ( x ) ) log(1-h(x)) log(1−h(x))为无穷大反之 h ( x ) h(x) h(x)为0趋向于 y 0 y0 y0的类别 − l o g e 1 0 -log_e10 −loge10损失最小。 注意对于逻辑回归来说不需要区分预测概率类别。当 h ( x ) P 0.5 h(x)P0.5 h(x)P0.5划分为1这个类别趋近于1当 h ( x ) P 0.5 h(x)P0.5 h(x)P0.5划分到0这个类别趋近于0。 以上两个代价函数是个分段的求解 θ θ θ值时要解决实际的问题而 y 0 或 1 y0或1 y0或1可以简化方程式来求代价函数把以上两个式子整合成一个方便后期的求导。 C o s t ( h ( x ) , y ) − y l o g e ( h ( x ) ) − ( 1 − y ) l o g e ( 1 − h ( x ) ) Cost(h(x),y)-ylog_e(h(x))-(1-y)log_e(1-h(x)) Cost(h(x),y)−yloge(h(x))−(1−y)loge(1−h(x)) C o s t ( h ( x ) , y ) Cost(h(x),y) Cost(h(x),y)为一个样本数据的损失每个样本点都有损失要将很多个样本点进行整合进行求和除以样本的个数将负号提出来得到以下的式子这种方式也为交叉熵。 J ( θ ) 1 m ∑ i 1 m C o s t ( h ( x ) , y ) − 1 m ∑ i 1 m [ y l o g e ( h ( x ) ) ( 1 − y ) l o g e ( 1 − h ( x ) ) ] J(θ) \frac{1}{m}\displaystyle{\sum_{i1}^{m}Cost(h(x),y)}-\frac{1}{m}\displaystyle{\sum_{i1}^{m}[ylog_e(h(x))(1-y)log_e(1-h(x))]} J(θ)m1i1∑mCost(h(x),y)−m1i1∑m[yloge(h(x))(1−y)loge(1−h(x))] 逻辑回归是很常用的算法也用于深度学习中。这个方程式运用了统计学中的极大自然法为不同的模型快速找出参数同时也是个凸函数解决了之前非凸函数的问题便于接下来的求导。
梯度下降法推导
代价函数 J ( θ ) − 1 m ∑ i 1 m [ y l o g e ( h ( x ) ) ( 1 − y ) l o g e ( 1 − h ( x ) ) ] J(θ) -\frac{1}{m}\displaystyle{\sum_{i1}^{m}[ylog_e(h(x))(1-y)log_e(1-h(x))]} J(θ)−m1i1∑m[yloge(h(x))(1−y)loge(1−h(x))] 目标求 θ θ θ使得代价函数 J ( θ ) J(θ) J(θ)最小。 换元法 z θ T X zθ^TX zθTX,对 g ( z ) g(z) g(z)的求导就变为了对 1 1 e − z \frac{1}{1e^{-z}} 1e−z1进行求导 1 e − z 1e^{-z} 1e−z求导就变为了 e − z e^{-z} e−z导数乘以 − z -z −z的导数对 z θ T X zθ^TX zθTX求导X为常数 θ T θ^T θT为变量求导后为 x x x 代价函数求导之后的结果为 梯度下降法的本质是通过不停的求导迭代曲线下降的方向是凸优化的问题通过求导决定曲线下降的速度和方向最快的达到最低点损失最小的过程 l o g e x l n x 1 x log_exlnx\frac{1}{x} logexlnxx1
梯度下降法实现线性逻辑回归 sklearn实现线性逻辑回归
逻辑回归API
sklearn.linear_model.LogisticRegression(solverliblinear,penaltyl2,C1.0,
solver 可选参数{liblinear,sag,saga,newton-cg,lbfgs}
penalty正则化的种类
C正则化力度liblinear为默认值是优化问题的算法适用于小数据集sagsaga用于大型数据集newton-cg用于多类的问题。 数据中有正例和反例sklearn接口默认将数量少的作为正例。
梯度下降法实现非线性逻辑回归
分类评估报告API
sklearn.metrics.classification_report(y_true,y_pred,labels[],target_namesNone)
y_true真实目标值
y_pred估计器预测目标值
labels指定类别对应的数字
target_names目标类别名称
return每个类别精确率与召回率使用sklearn提供的数据集
