商城网站都有什么功能模块,青岛seo建站,浏览器怎么打开网站服务器连接,wordpress百度和分类分类模型的评估
在许多实际问题中#xff0c;衡量分类器任务的成功程度是通过固定的性能指标来获取。一般最常见使用的是准确率#xff0c;即预测结果正确的百分比#xff0c;方法为estimator.score()
1 混淆矩阵
有时候#xff0c;我们关注的是样本是否被正确诊断出来。… 分类模型的评估
在许多实际问题中衡量分类器任务的成功程度是通过固定的性能指标来获取。一般最常见使用的是准确率即预测结果正确的百分比方法为estimator.score()
1 混淆矩阵
有时候我们关注的是样本是否被正确诊断出来。例如关于肿瘤的的判定需要更加关心多少恶性肿瘤被正确的诊断出来。也就是说在分类任务下预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合构成混淆矩阵。 真正例True PositiveTP将一个正例判为正例
真反例True NegativeTN对一个反例正确的判为反例
伪反例False NegativeFN也称将一个正例判为反例
伪正例False PositiveTP对一个反例正确的判为真例
2 精确率(Precision)与召回率(Recall)
精确率等于TP/(TPFP)给出的是预测为正例的样本中真实为正例的比例判断查得准 召回率等于TP/(TPFN)真实为正例的样本中预测结果为正例的比例判断查的全对正样本的区分能力 3 其他分类标准
其他分类标准除了正确率和精确率这两个指标之外为了综合考量召回率和精确率我们计算这两个指标的调和平均数得到F1F1-score指标反映了模型的稳健型 之所以使用调和平均数是因为它除了具备平均功能外还会对那些召回率和精确率更加接近的模型给予更高的分数而这也是我们所希望的因为那些召回率和精确率差距过大的学习模型往往没有足够的使用价值。
4 分类模型评估API
sklearn.metrics.classification_report
sklearn.metrics.classification_report(y_true, y_pred, target_namesNone)
参数y_true真实目标值 y_pred估计器预测目标值
target_names目标类别名称 return字符串三个指标值每个类别精确率与召回率与F1 from sklearn.naive_bayes import MultinomialNB
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import classification_report
#1加载20类新闻数据并进行分割
newsgroups fetch_20newsgroups(subsetall)
#分割
x_train,x_test,y_train,y_test train_test_split(newsgroups.data,newsgroups.target,test_size0.25)#2 生成文章特征词对数据集进行特征抽取
tf TfidfVectorizer()
#以训练集当中的词的列表进行每篇文章重要性统计
x_train tf.fit_transform(x_train)
print(tf.get_feature_names())
x_test tf.transform(x_test)# 进行朴素贝叶斯算法的预测
mlt MultinomialNB(alpha1.0)
mlt.fit(x_train,y_train)
y_predict mlt.predict(x_test)
print(预测的文章类别为,y_predict)
score mlt.score(x_test,y_test)
print(准确率为, score)
print(每个类别的精确率,召回率和F1, classification_report(y_test, y_predict, target_namesnewsgroups.target_names))
