手机网站开发公司哪家好,php 网站开发框架,wordpress做网站容易吗,深圳网站制作公司咨询sklearn数据集与估计器
1 sklearn数据集
#xff08;1#xff09;数据来源#xff1a;大多数以文件的形式 #xff08;csv文件..#xff09;, 因为mysql有性能瓶颈、读取速度遭到限制#xff0c;数据大的时候很费时间
#xff08;2#xff09;读取数据的工具#… sklearn数据集与估计器
1 sklearn数据集
1数据来源大多数以文件的形式 csv文件.., 因为mysql有性能瓶颈、读取速度遭到限制数据大的时候很费时间
2读取数据的工具Python中很强大的模块 pandas:读取工具、numpy(数据计算模块计算速度非常快,因为释放了Python中的GIL)
3可用数据集
①Kaggle网址https://www.kaggle.com/datasets Kaggle特点大数据竞赛平台80万科学家真实数据数据量巨大
②UCI数据集网址 http://archive.ics.uci.edu/ml/ UCI特点收录了360个数据集覆盖科学、生活、经济等领域 数据量几十万
③scikit-learn网址http://scikit-learn.org/stable/datasets/index.html#datasets scikit-learn特点1数据量较小 方便学习
4数据集的结构
机器学习中数据集的结构特征值目标值
特征值就是DataFrame他的特点是有行索引和列索引中的列索引
目标值很据特征值得到的结果值就为目标值就是想要做的事情的目的的分类
样本每一行数据可以作为一个样本
2 sklearn.datasets
机器学习一般的数据集会划分为两个部分
训练数据用于训练构建模型
测试数据在模型检验时使用用于评估模型是否有效
一般在进行模型的测试时我们会将数据分为训练集和测试集。在给定的样本空间中拿出大部分样本作为训练集来训练模型剩余的小部分样本使用刚建立的模型进行预测。
sklearn数据集划分APIsklearn.model_selection.train_test_split
sklearn.datasets 加载获取流行数据集
datasets.load_*() 获取小规模数据集数据包含在datasets里
datasets.fetch_*(data_homeNone) 获取大规模数据集需要从网络上下载函数的第一个参数是data_home表示数据集 下载的目录
datasets.make_*()本地生成数据集
datasets.get_data_home()获取数据集目录这个文件夹被一些大的数据集装载器使用以避免下载数据。默认情况下数据目录设置为用户主文件夹中名为“scikit_learn_data”的文件夹。或者可以通过“SCIKIT_LEARN_DATA”环境变量或通过给出显式的文件夹路径以编程方式设置它。
clear_data_home(data_homeNone)删除所有下载数据
load*和fetch*返回的数据类型datasets.base.Bunch(字典格式)如下
data特征数据数组是 [n_samples * n_features] 的二维numpy.ndarray 数组target标签数组是 n_samples 的一维 numpy.ndarray 数组DESCR数据描述feature_names特征名,新闻数据手写数字、回归数据集没有target_names标签名,回归数据集没有2.1 获取小数据集
1分类数据集
①sklearn.datasets.load_iris()加载并返回鸢尾花数据集
名称数量类别3特征4样本数量150每个类别数量50参数return_X_y: 如果为True则返回而不是Bunch对象默认为False
返回值Bunch对象如果return_X_y为True那么返回tupledata,target from sklearn.datasets import load_iris
ld load_iris()
print(ld)
②sklearn.datasets.load_digits()加载并返回数字数据集
名称数量类别10特征64样本数量1797
2回归数据集
①sklearn.datasets.load_boston()加载并返回波士顿房价数据集
名称数量目标类别5-50特征13样本数量506
②sklearn.datasets.load_diabetes() 加载和返回糖尿病数据集
名称数量目标范围25-346特征10样本数量442
2.2 获取大数据集
sklearn.datasets.fetch_20newsgroups():加载20个新闻组数据集中的文件名和数据 data_home 默认值无指定数据集的下载和缓存文件夹。如果没有所有scikit学习数据都存储在〜/ scikit_learn_data子文件夹中subsettrain或者test,all可选选择要加载的数据集训练集的“训练”测试集的“测试”两者的“全部”具有洗牌顺序categories无或字符串或Unicode的集合如果没有默认加载所有类别。如果不是无要加载的类别名称列表忽略其他类别shuffle是否对数据进行洗牌random_statenumpy随机数生成器或种子整数remove元组download_if_missing默认为True如果False如果数据不在本地可用而不是尝试从源站点下载数据则引发IOError
sklearn.datasets.fetch_20newsgroups_vectorized()加载20个新闻组数据集并将其转换为tf-idf向量
2.3 生成本地数据
sklearn.datasets.make_classification():生成本地分类数据 n_samples:int default 100)样本数量n_features默认 20特征总数n_classes类或标签的分类问题的数量random_stateRandomState实例或无可选默认无
sklearn.datasets.make_regression():生成本地回归数据 3 估计器
在sklearn中估计器(estimator)是一个重要的角色分类器和回归器都属于estimator是一类实现了算法的API是sklearn机器学习算法的实现。
在估计器中有有两个重要的方法是fit和transform①fit方法用于从训练集中学习模型参数②transform用学习到的参数转换数据。 用于分类的估计器
sklearn.neighbors k-近邻算法
sklearn.naive_bayes 贝叶
sklearn.linear_model.LogisticRegression 逻辑回归
用于回归的估计器
sklearn.linear_model.LinearRegression 线性回归
sklearn.linear_model.Ridge 岭回归
