当前位置: 首页 > news >正文

婚纱摄影网站怎么建设网页设计与制作智慧树单元检测答案

婚纱摄影网站怎么建设,网页设计与制作智慧树单元检测答案,比较好的外贸公司,望牛墩做网站上周一个叫 Abhishek Thakur 的数据科学家#xff0c;在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem#xff0c;介绍他建立的一个自动的机器学习框架#xff0c;几乎可以解决任何机器学习问题#xff0c;项目很快也会发布出来。 这篇… 上周一个叫 Abhishek Thakur 的数据科学家在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem介绍他建立的一个自动的机器学习框架几乎可以解决任何机器学习问题项目很快也会发布出来。   这篇文章迅速火遍 Kaggle他参加过100多个数据科学相关的竞赛积累了很多宝贵的经验看他很幽默地说“写这样的框架需要很多丰富的经验不是每个人都有这样的经历而很多人有宝贵的经验但是他们不愿意分享我呢恰好是又有一些经验又愿意分享的人”。当然这篇文章也是受到争议的很多人觉得并不全面。   这篇文章里面提到了一些高效的方法最干货的是他做了一个表格列出了各个算法通常需要训练的参数。   这个问题很重要因为大部分时间都是通过调节参数训练模型来提高精度。作为一个初学者第一阶段最想知道的问题就是如何调节参数。   因为分析的套路很简单就那么几步常用的算法也就那么几个以为把算法调用一下就可以了么那是肯定不行的。实际过程中调用完算法后结果一般都不怎么好这个时候还需要进一步分析哪些参数可以调优哪些数据需要进一步处理还有什么更合适的算法等等问题。   接下来一起来看一下他的框架。   据说数据科学家 60-70 的时间都花在数据清洗和应用模型算法上面这个框架主要针对算法的应用部分。   Pipeline   什么是 Kaggle   Kaggle是一个数据科学竞赛的平台很多公司会发布一些接近真实业务的问题吸引爱好数据科学的人来一起解决可以通过这些数据积累经验提高机器学习的水平。   应用算法解决 Kaggle 问题一般有以下几个步骤   第一步识别问题 第二步分离数据 第三步构造提取特征 第四步组合数据 第五步分解 第六步选择特征 第七步选择算法进行训练   当然工欲善其事必先利其器要先把工具和包都安好。 最方便的就是安装 Anaconda这里面包含大部分数据科学所需要的包直接引入就可以了常用的包有   pandas常用来将数据转化成 dataframe 形式进行操作 scikit-learn里面有要用到的机器学习算法模型 matplotlib用来画图 以及 xgboostkerastqdm 等。   第一步识别问题   在这一步先明确这个问题是分类还是回归。通过问题和数据就可以判断出来数据由 X 和 label 列构成label 可以一列也可以多列可以是二进制也可以是实数当它为二进制时问题属于分类当它为实数时问题属于回归。   第二步分离数据     为什么需要将数据分成两部分   用 Training Data 来训练模型用 Validation Data 来检验这个模型的表现不然的话通过各种调节参数模型可以在训练数据集上面表现的非常出色但是这可能会是过拟合过拟合就是太依赖现有的数据了拟合的效果特别好但是只适用于训练集以致于来一个新的数据就不知道该预测成什么了。所以需要有 Validation 来验证一下看这个模型是在那里自娱自乐呢还是真的表现出色。   在 scikit learn 包里就有工具可以帮你做到这些 分类问题用 StrtifiedKFold   from sklearn.cross_validation import StratifiedKFold   回归问题用 KFold   from sklearn.cross_validation import KFold   第三步构造特征   这个时候需要将数据转化成模型需要的形式。数据有三种类型数字类别文字。当数据是类别的形式时需要将它的每一类提取出来作为单独一列然后   用二进制表示每条记录相应的值。例如 record 1: 性别 女 record 2性别 女 record 3性别 男   转化之后就是 女 男 record 1: 1 0 record 21 0 record 30 1 这个过程 sklearn 也可以帮你做到   from sklearn.preprocessing import LabelEncoder   或者   from sklearn.preprocessing import OneHotEncoder   第四步组合数据   处理完 Feature 之后就将它们组合到一起。 如果数据是稠密的就可以用 numpy 的 hstack:   import numpy as np X np.hstack((x1, x2, ...))   如果是稀疏的就用 sparse 的 hstack   from scipy import sparse X sparse.hstack((x1, x2, ...))   组合之后就可以应用以下算法模型   RandomForestClassifier RandomForestRegressor ExtraTreesClassifier ExtraTreesRegressor XGBClassifier XGBRegressor   但是不能应用线性模型线性模型之前需要对数据进行正则化而不是上述预处理。   第五步分解   这一步是为了进一步优化模型可以用以下方法   PCAPrincipal components analysis主成分分析是一种分析、简化数据集的技术。用于减少数据集的维数同时保持数据集中的对方差贡献最大的特征。   from sklearn.decomposition import PCA   对于文字数据在转化成稀疏矩阵之后可以用 SVD   from sklearn.decomposition import TruncatedSVD   SVDSingular Value Decomposition奇异值分解是线性代数中一种重要的矩阵分解它总能找到标准化正交基后方差最大的维度因此用它进行降维去噪。   第六步选择特征   当特征个数越多时分析特征、训练模型所需的时间就越长容易引起“维度灾难”模型也会越复杂推广能力也会下降所以需要剔除不相关或亢余的特征。 常用的算法有完全搜索启发式搜索和随机算法。   例如Random Forest   from sklearn.ensemble import RandomForestClassifier   或者 xgboost   import xgboost as xgb   对于稀疏的数据一个比较有名的方法是 chi-2     from sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2   第七步选择算法进行训练 选择完最相关的参数之后接下来就可以应用算法常用的算法有   Classification: Random Forest GBM Logistic Regression Naive Bayes Support Vector Machines k-Nearest Neighbors Regression Random Forest GBM Linear Regression Ridge Lasso SVR   在scikitlearn里可以看到分类和回归的可用的算法一览包括它们的原理和例子代码。在应用各算法之前先要明确这个方法到底是否合适。   为什么那么多算法里只提出这几个算法呢这就需要对比不同算法的性能了。 这篇神文 Do we Need Hundreds of Classifiers to Solve Real World Classification Problems 测试了179种分类模型在UCI所有的121个数据上的性能发现Random Forests 和 SVM 性能最好。 我们可以学习一下里面的调研思路看看是怎么样得到比较结果的在我们的实践中也有一定的指导作用。   各算法比较   但是直接应用算法后一般精度都不是很理想这个时候需要调节参数最干货的问题来了什么模型需要调节什么参数呢     虽然在sklearn的文档里会列出所有算法所带有的参数但是里面并不会说调节哪个会有效。在一些mooc课程里有一些项目的代码里面可以看到一些算法应用时他们重点调节的参数但是有的也不会说清楚为什么不调节别的。   这里作者根据他100多次比赛的经验列出了这个表我觉得可以借鉴一下当然如果有时间的话去对照文档里的参数列表再查一下算法的原理通过理论也是可以判断出来哪个参数影响比较大的。   调参之后也并不就是大功告成这个时候还是需要去思考是什么原因造成精度低的是哪些数据的深意还没有被挖掘到这个时候需要用统计和可视化去再一次探索数据之后就再走一遍上面的过程。   我觉得这里还提到了很有用的一条经验是把所有的 transformer 都保存起来方便在 validation 数据集上面应用         转载于:https://www.cnblogs.com/caodneg7/p/10292648.html
http://www.huolong8.cn/news/58535/

相关文章:

  • 做网站遇到各种问题wordpress2014
  • 义乌网站开发公司跨境电商开发
  • 网站规划建设前期规划方案科技公司 网站 石家庄
  • 计算机开发工具有哪些做神马网站优化排名软
  • 网站建设与管理的就业方向企业推广怎么做
  • 活动汪活动策划网站深圳装修设计公司排名
  • 苏州专业做网站较好的公司有哪些延安网站开发
  • 多个域名绑定同一网站企业网站优化设计应该把什么放在首位
  • 济南长兴建设集团有限公司网站优品ppt模板网官网
  • 维护网站一年多少钱公司注册地址异常
  • 如何介绍设计的网站知名企业文化案例
  • 监控做直播网站网站开发员属于
  • 电商网站开发人员黄页推广引流网站
  • 网站做多长时间才会成功网站建设方案报价费用明细价格
  • 女人学ui有前途吗seo公司培训
  • 重庆家居网站制作公司湖南建筑信息网平台
  • 设计网站排行wordpress管理密码
  • 网站301是什么意思单一网页开发
  • 网站背景图片素材建筑工程挂网甩浆
  • 郑州 网站建设WordPress文章图片采集插件
  • 狮山网站建设wordpress form插件
  • 珠海手机微信网站建设小程序开发广告设计实习报告
  • 建设工程敎育网网站一个人开发游戏难吗
  • 浙江网站建设优化wordpress 图标
  • 太原建站培训贵州大地建设集团网站
  • 国内优秀的个人网站莱芜搜狗推广推荐
  • 南昌企业网站设计公司建设网站要多少页面
  • 优的深圳网站设计公司零售app开发公司
  • 重庆做网站有哪些做一个网站成本是多少合适
  • h5网站和传统网站区别临沂网站建设wyjzgzs