国外 网站页面,免费建站网站一级123456,seo优化软件免费,建设企业网站价格常见的数据预处理方法#xff0c;以下通过sklearn的preprocessing模块来介绍; 1. 标准化#xff08;Standardization or Mean Removal and Variance Scaling) 变换后各维特征有0均值#xff0c;单位方差。也叫z-score规范化#xff08;零均值规范化#xff09;。计算方式是… 常见的数据预处理方法以下通过sklearn的preprocessing模块来介绍; 1. 标准化Standardization or Mean Removal and Variance Scaling) 变换后各维特征有0均值单位方差。也叫z-score规范化零均值规范化。计算方式是将特征值减去均值除以标准差。 1sklearn.preprocessing.scale(X)一般会把train和test集放在一起做标准化或者在train集上做标准化后用同样的标准化器去标准化test集此时可以用scaler 1
2
3scaler sklearn.preprocessing.StandardScaler().fit(train)
scaler.transform(train)
scaler.transform(test)实际应用中需要做特征标准化的常见情景SVM 2. 最小-最大规范化 最小-最大规范化对原始数据进行线性变换变换到[0,1]区间也可以是其他固定最小最大值的区间 1
2min_max_scaler sklearn.preprocessing.MinMaxScaler()
min_max_scaler.fit_transform(X_train)3.规范化Normalization 规范化是将不同变化范围的值映射到相同的固定范围常见的是[0,1]此时也称为归一化。《机器学习》周志华 将每个样本变换成unit norm。 1
2X [[ 1, -1, 2],[ 2, 0, 0], [ 0, 1, -1]]
sklearn.preprocessing.normalize(X, norml2)得到 1array([[ 0.40, -0.40, 0.81], [ 1, 0, 0], [ 0, 0.70, -0.70]])可以发现对于每一个样本都有0.4^20.4^20.81^21,这就是L2 norm变换后每个样本的各维特征的平方和为1。类似地L1 norm则是变换后每个样本的各维特征的绝对值和为1。还有max norm则是将每个样本的各维特征除以该样本各维特征的最大值。 在度量样本之间相似性时如果使用的是二次型kernel需要做Normalization 4. 特征二值化Binarization 给定阈值将特征转换为0/1 1
2binarizer sklearn.preprocessing.Binarizer(threshold1.1)
binarizer.transform(X)5. 标签二值化Label binarization 1lb sklearn.preprocessing.LabelBinarizer()6. 类别特征编码 有时候特征是类别型的而一些算法的输入必须是数值型此时需要对其编码。 1
2
3enc preprocessing.OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
enc.transform([[0, 1, 3]]).toarray() #array([[ 1., 0., 0., 1., 0., 0., 0., 0., 1.]])上面这个例子第一维特征有两种值0和1用两位去编码。第二维用三位第三维用四位。 7.标签编码Label encoding 1
2
3
4
5
6le sklearn.preprocessing.LabelEncoder()
le.fit([1, 2, 2, 6])
le.transform([1, 1, 2, 6]) #array([0, 0, 1, 2])
#非数值型转化为数值型
le.fit([paris, paris, tokyo, amsterdam])
le.transform([tokyo, tokyo, paris]) #array([2, 2, 1])8.特征中含异常值时 1sklearn.preprocessing.robust_scale9.生成多项式特征 这个其实涉及到特征工程了多项式特征/交叉特征。 1
2poly sklearn.preprocessing.PolynomialFeatures(2)
poly.fit_transform(X)原始特征 转化后
