临沂网站制作建设,网页个人简历设计怎么做,wordpress 微信采集,最近营销热点在进行数据分析时#xff0c;我们往往会遇到要对某个变量的影响因素进行分析的情况#xff0c;而影响一事物的因素往往是很多的。比如在化工生产中#xff0c;有温度、压力、剂量、反应时间等因素。每一因素的改变都有可能影响产品的数量和质量。我们往往要找出对产品质量有…
在进行数据分析时我们往往会遇到要对某个变量的影响因素进行分析的情况而影响一事物的因素往往是很多的。比如在化工生产中有温度、压力、剂量、反应时间等因素。每一因素的改变都有可能影响产品的数量和质量。我们往往要找出对产品质量有显著影响的那些因素。而方差分析就是根据试验的结果进行分析鉴别各个有关因素对试验结果影响的有效方法本文主要讲述如何用python中的两种方法来进行方差分析。
首先还是先简介一下方差分析。
方差分析Analysis of VarianceANOVA又称“变异数分析”或“F检验”是由罗纳德·费舍尔Ronald Aylmer Fisher发明的用于两个及两个以上样本均数差别的显著性检验其原理是认为不同处理组的均数间的差别基本来源有两个
(1) 实验条件即不同的处理造成的差异称为组间差异。用变量在各组的均值与总均值之偏差平方和的总和表示记作SSa组间自由度dfa。
(2) 随机误差如测量误差造成的差异或个体间的差异称为组内差异用变量在各组的均值与该组内变量值之偏差平方和的总和表示 记作SSe组内自由度dfe。
总偏差平方和 SSt SSa SSe。
组内SSe、组间SSa除以各自的自由度组内dfe n-m组间dfam-1其中n为样本总数m为组数得到其均方MSe和MSa一种情况是处理没有作用即各组样本均来自同一总体MSa/MSe≈1。另一种情况是处理确实有作用组间均方是由于误差与不同处理共同导致的结果即各样本来自不同总体。那么MSaMSe远大于。
MSa/MSe比值构成F分布。用F值与其临界值比较推断各样本是否来自相同的总体。
然后我们再说明一下数据集。
数据集非常简单只有5组数值每组数值有4个共20个数字。分别命名为group1、group2、group3、group4和group5数值都是随意设置的没有什么要求这里大家也可以根据自己的意愿设置数据。在这里笔者专门将数据量设置得比较小这样方便观察数据的之间的差异我们的重点是方差分析的方法而这里我们主要讲的是单因素方差分析法。
group1 [29.6, 24.3, 28.5, 32.0]
group2 [27.3, 32.6, 30.8, 34.8]
group3 [5.8, 6.2,11.0, 8.3]
group4 [21.6, 17.4, 18.3, 19.0]
group5 [29.2, 32.8, 25.0, 24.2]
设u1、u2、u3、u4和u5分别是这5个样本所属总体的均值我们用单因素方差分析来检验下面的假设。
H0u1u2u3u4u5
H1u1、u2、u3、u4和u5不全相等
为了能更直观了解这5组数据我们首先手工计算一下这些数据的相关参数。这5组数据的总体情况如图1所示。图1. 所用数据的基本情况
在图1中每列数据就是一个水平这是一个统计学用语水平和就是每组4个数值的总和每组数据平均值分别是a128.6a231.375a37.825a419.075a527.8全部20个数据的平均值为A(a1a2a3a4a5)/5114.675/522.935。所以总偏差平方和为ST1616.65此值为20个数据中每个数据与A的差的平方的总和误差平方和为SE135.82此值为每组数据中每个数据与这组数据的平均值的差的平方之和效应平方和为SA1480.83此值为每组数据的平均值与A的差的平方之和也等于ST减去SE的差。由此我们可以得出本例的方差分析表如图2所示。图2. 方差分析表
图2中的因素就是各组数据间的差异这个可以是随机的也可以是人为的而误差就是每组数据的之间差异。我们可以看到本例中得到的F值为40.8848远大于查表得到的F值F0.05(4,15)其值为3.06至于F0.05(4,15)的值我们同样可以用python得出后面会有讲解。
以上就是这个例子的手工计算过程下面我们用python来计算一下该例。
方法1scipy
方法1用的库是scipy这是python中科学计算最常用的库其代码如下记得输入前面的5组数据。
from scipy import stats
F, pstats.f_oneway(group1, group2, group3, group4, group5)
F_teststats.f.ppf((1-0.05), 4, 15)
print(F值是%.2fp值是%.9f % (F,p))
print(F_test的值是%.2f % (F_test))
if FF_test:
print(拒绝原假设u1、u2、u3、u4、u5不全相等)
else:
print(接受原假设u1u2u3u4u5)
结果如图3所示。图3. 方法1的计算结果
scipy的单因素方差分析比较简单只要调用stats模块的f_oneway方法即可在f_oneway中输入各组数据然后会自动返回两个数值F与p第一个数值F就表示我们算出的F值和图2中的F值一样而第二个值p就是这个F值所对应的概率也就是假设检验问题中由检验统计量的样本观察值得出的原假设可被拒绝的最小显著性水平。在这里我们既可以通过F值来判断也可以通过p值来判断因为F大于F_test落入了拒绝域所以拒绝原假设而p值也远小于α分位数这里为0.05所以也拒绝原假设。而这里的F_test就是图2中的F0.05(4,15)计算方法就是用stats.f.ppf((1-0.05), 4, 15)这里ppf的意思是Percent point function也就是百分点函数它是Cumulative distribution function累积分布函数的逆运算这里需要注意的是ppf的第一个参数要输入1-0.050.05也就是我们设定的显著性水平α其值通常取0.05而第二个和第三个参数是两个自由度这两个自由度分别是4和15其求法在前面原理部分已经讲过。
方法2statsmodels
方法2用的是python的另一个统计学库statsmodels其代码如下。
import statsmodels.api as sm
import pandas as pd
from statsmodels.formula.api import ols
numsorted([g1, g2, g3,g4, g5]*4)
datagroup1 group2 group3 group4 group5
dfpd.DataFrame({num:num, data: data})
modols(data ~ num,datadf).fit()
ano_tablesm.stats.anova_lm(mod,typ2)
print(ano_table)
结果如图4所示。图4. 方法2的计算结果
从图4中我们可以看到得出的结果和前面手算以及scipy的结果一样部分小数精度问题可以忽略不计图中sum_sq列就表示平方和df列就代表了自由度这里还给出了p值就是PR(F)列信息比scipy要丰富一些。
从代码上来看statsmodels也同样很简单只比scipy稍微复杂了一点但却提供了更多的信息。这里有几点要注意的。一是我们生成了一个名为num的变量和一个名为data的变量这两个都是list类型又用二者生成了名为df的pandas.DataFrame变量这样做的原因是statsmodels中普遍使用DataFrame数据格式如果使用list类型会更麻烦一些。而data是把前面group1到group5中的数据放在了一个list中num则是存放每个数据所对应的数据组信息g1就代表这个数值属于group1g2则是对应group2以此类推。这里还有一点要注意就是num中数据格式最好是字符格式的比如’a1’、‘num3’这样的不要是数字格式的比如1、3、6.9这样的因为数字格式的数据很有可能会参与计算最终的结果可能会出错。第二点是mod ols(data ~ num, datadf).fit()中的公式data ~ num很多人对这一点很困惑这种公式的使用方法来自于python的另一个库patsy其主要用于描述统计模型尤其是线性模型符号~前面的部分代表了y轴数据后面的部分代表了x轴数据根据这二者生成一个线性模型ols中第二个参数data则是要输入的数据源一般是DataFrame格式前面公式中符号~前后的名称都要是data中的列名这种方法确实有些奇怪部分原因是patsy借鉴了R语言的一些用法。第三点是ano_table sm.stats.anova_lm(mod, typ2)中typ2的意思是DataFrametyp共有3个值分别是1、2和3其中2代表了DataFrame格式。
总结
对比scipy和statsmodels这两种方法可以说是各有优势。scipy是一个通用型库其包含了科学计算的多种模块统计分析只是其中一部分而statsmodels是一个专门进行统计分析的库二者在功能上有一些差别statsmodels在统计分析上更专业一些。而scipy的语法更符合python常用的语法statsmodels的语法有些接近于R语言对初学者可能有些陌生。所以大家可以根据自己的需要来选择合适的方法。
【责任编辑庞桂玉 TEL01068476606】
点赞 0
