不用域名访问网站,余杭区网站建设,wordpress 镜像,山东省住房和城乡建设厅二建查询分类算法-朴素贝叶斯算法1. 概率基础2. 朴素贝叶斯介绍3. sklearn朴素贝叶斯实现API4. 朴素贝叶斯算法案例1. 概率基础
概率定义为一件事情发生的可能性#xff1a;扔出一个硬币#xff0c;结果头像朝上#xff1b;某天是晴天 联合概率和条件概率“”#xff1a; 联合概率…
分类算法-朴素贝叶斯算法1. 概率基础2. 朴素贝叶斯介绍3. sklearn朴素贝叶斯实现API4. 朴素贝叶斯算法案例1. 概率基础
概率定义为一件事情发生的可能性扔出一个硬币结果头像朝上某天是晴天 联合概率和条件概率“” 联合概率包含多个条件且所有条件同时成立的概率 记作(,) 条件概率就是事件A在另外一个事件B已经发生条件下的发生概率 记作(|) 特性P(A1,A2|B) P(A1|B)P(A2|B) 注意此条件概率的成立是由于A1,A2相互独立的结果
2. 朴素贝叶斯介绍
朴素就是特征独立 注w为给定文档的特征值(频数统计,预测文档提供)c为文档类别 公式可以理解为 其中c可以是不同类别 公式分为三个部分 ()每个文档类别的概率(某文档类别词数总文档词数) (│)给定类别下特征被预测文档中出现的词的概率
计算方法(1│)/ 训练文档中去计算 为该1词在C类别所有文档中出现的次数 N为所属类别C下的文档所有词出现的次数和 (1,2,…) 预测文档中每个词的概率 问题从上面的例子我们得到娱乐概率为0这是不合理的如果词频列表里面 有很多出现次数都为0很可能计算结果都为零 解决方法拉普拉斯平滑系数 为指定的系数一般为1m为训练文档中统计出的特征词个数
3. sklearn朴素贝叶斯实现API
sklearn.naive_bayes.MultinomialNB
MultinomialNB
sklearn.naive_bayes.MultinomialNB(alpha 1.0)
朴素贝叶斯分类
alpha拉普拉斯平滑系数4. 朴素贝叶斯算法案例
sklearn20类新闻分类 20个新闻组数据集包含20个主题的18000个新闻组帖子 朴素贝叶斯案例流程 1、加载20类新闻数据并进行分割 2、生成文章特征词 3、朴素贝叶斯estimator流程进行预估
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
def naviebayes():朴素贝叶斯进行文本分类:return: Nonenews fetch_20newsgroups(subsetall)# 进行数据分割x_train, x_test, y_train, y_test train_test_split(news.data, news.target, test_size0.25)# 对数据集进行特征抽取tf TfidfVectorizer()# 以训练集当中的词的列表进行每篇文章重要性统计[a,b,c,d]x_train tf.fit_transform(x_train)print(tf.get_feature_names())x_test tf.transform(x_test)# 进行朴素贝叶斯算法的预测mlt MultinomialNB(alpha1.0)print(x_train.toarray())mlt.fit(x_train, y_train)y_predict mlt.predict(x_test)print(预测的文章类别为, y_predict)# 得出准确率print(准确率为, mlt.score(x_test, y_test))print(每个类别的精确率和召回率, classification_report(y_test, y_predict, target_namesnews.target_names))return Noneif __name__ __main__:naviebayes()朴素贝叶斯分类优缺点 优点 朴素贝叶斯模型发源于古典数学理论有稳定的分类效率。 对缺失数据不太敏感算法也比较简单常用于文本分类。 分类准确度高速度快 缺点 需要知道先验概率P(F1,F2,…|C)因此在某些时候会由于假设的先验 模型的原因导致预测效果不佳。 模型的选择与调优 1、交叉验证 : 为了让被评估的模型更加准确可信.将拿到的数据分为训练和验证集。以下图为例将数据分成5份其中一份作为验证集。然后经过5次(组)的测试每次都更换不同的验证集。即得到5组模型的结果取平均值作为最终结果。又称5折交叉验证。
2、网格搜索 超参数搜索-网格搜索 通常情况下有很多参数是需要手动指定的如k-近邻算法中的K值 这种叫超参数。但是手动过程繁杂所以需要对模型预设几种超参数组 合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建 立模型。
sklearn.model_selection.GridSearchCVsklearn.model_selection.GridSearchCV(estimator, param_gridNone,cvNone)
对估计器的指定参数值进行详尽搜索estimator估计器对象
param_grid估计器参数(dict){“n_neighbors”:[1,3,5]}
cv指定几折交叉验证
fit输入训练数据
score准确率
结果分析
best_score_:在交叉验证中测试的最好结果
best_estimator_最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果 将前面的k-近邻算法案例改成网格搜索
