RESCALINGattributedatatovaluestoscaletherangein[0,1]or[1,1]isusefulfortheoptimizationalgorithms,suchasgradientdescent,thatareusedwithinmachinelearningalgorithmsthatweightinputs(e.g.regressionandneuralnetworks).RescalingisalsousedforalgorithmsthatusedistancemeasurementsforexampleK-Nearest-Neighbors(KNN).Rescalinglikethisissometimescalled"normalization".MinMaxScalerclassinpythonskikit-learndoesthis.
NORMALIZINGattributedataisusedtorescalecomponentsofafeaturevectortohavethecompletevectorlengthof1.Thisis"scalingbyunitlength".ThisusuallymeansdividingeachcomponentofthefeaturevectorbytheEuclidieanlengthofthevectorbutcanalsobeManhattanorotherdistancemeasurements.Thispre-processingrescalingmethodisusefulforsparseattributefeaturesandalgorithmsusingdistancetolearnsuchasKNN.Pythonscikit-learnNormalizerclasscanbeusedforthis.
STANDARDIZINGattributedataisalsoapreprocessingmethodbutitassumesaGaussiandistributionofinputfeatures.It"standardizes"toameanof0andastandarddeviationof1.Thisworksbetterwithlinearregression,logisticregressionandlineardiscriminateanalysis.PythonStandardScalerclassinscikit-learnworksforthis.
有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：
特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。首次接触到sklearn，通常会被其丰富且方便的算法模型库吸引，但是这里介绍的特征处理库也十分强大！
fromsklearn.datasetsimportload_iris#导入IRIS数据集iris=load_iris()#特征矩阵iris.data#目标向量iris.target2数据预处理通过特征提取，我们能得到未经处理的特征，这时的特征可能有以下问题：
我们使用sklearn中的preproccessing库来进行数据预处理，可以覆盖以上问题的解决方案。
无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和区间缩放法。标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。区间缩放法利用了边界值信息，将特征的取值区间缩放到某个特点的范围，例如[0,1]等。
标准化需要计算特征的均值和标准差，公式表达为：
使用preproccessing库的StandardScaler类对数据进行标准化的代码如下：
fromsklearn.preprocessingimportStandardScaler#标准化，返回值为标准化后的数据StandardScaler().fit_transform(iris.data)2.1.2区间缩放法区间缩放法的思路有多种，常见的一种为利用两个最值进行缩放，公式表达为：
使用preproccessing库的MinMaxScaler类对数据进行区间缩放的代码如下：
fromsklearn.preprocessingimportMinMaxScaler#区间缩放，返回值为缩放到[0,1]区间的数据MinMaxScaler().fit_transform(iris.data)2.1.3标准化与归一化的区别简单来说，标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”。规则为l2的归一化公式如下：
使用preproccessing库的Normalizer类对数据进行归一化的代码如下：
fromsklearn.preprocessingimportNormalizer#归一化，返回值为归一化后的数据Normalizer().fit_transform(iris.data)2.2对定量特征二值化定量特征二值化的核心在于设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，公式表达如下：
使用preproccessing库的Binarizer类对数据进行二值化的代码如下：
fromsklearn.preprocessingimportBinarizer#二值化，阈值设置为3，返回值为二值化后的数据Binarizer(threshold=3).fit_transform(iris.data)2.3对定性特征哑编码由于IRIS数据集的特征皆为定量特征，故使用其目标值进行哑编码（实际上是不需要的）。使用preproccessing库的OneHotEncoder类对数据进行哑编码的代码如下：
fromsklearn.preprocessingimportOneHotEncoder#哑编码，对IRIS数据集的目标值，返回值为哑编码后的数据OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))2.4缺失值计算由于IRIS数据集没有缺失值，故对数据集新增一个样本，4个特征均赋值为NaN，表示数据缺失。使用preproccessing库的Imputer类对数据进行缺失值计算的代码如下：
fromnumpyimportvstack,array,nanfromsklearn.preprocessingimportImputer#缺失值计算，返回值为计算缺失值后的数据#参数missing_value为缺失值的表示形式，默认为NaN#参数strategy为缺失值填充方式，默认为mean（均值）Imputer().fit_transform(vstack((array([nan,nan,nan,nan]),iris.data)))2.5数据变换常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。4个特征，度为2的多项式转换公式如下：
使用preproccessing库的PolynomialFeatures类对数据进行多项式转换的代码如下：
fromsklearn.preprocessingimportPolynomialFeatures#多项式转换#参数degree为度，默认值为2PolynomialFeatures().fit_transform(iris.data)基于单变元函数的数据变换可以使用一个统一的方式完成，使用preproccessing库的FunctionTransformer对数据进行对数函数转换的代码如下：
fromnumpyimportlog1pfromsklearn.preprocessingimportFunctionTransformer#自定义转换函数为对数函数的数据变换#第一个参数是单变元函数FunctionTransformer(log1p).fit_transform(iris.data)3特征选择当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说，从两个方面考虑来选择特征：
根据特征选择的形式又可以将特征选择方法分为3种：
我们使用sklearn中的feature_selection库来进行特征选择。
使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码如下：
为了处理定量数据，最大信息系数法被提出，使用feature_selection库的SelectKBest类结合最大信息系数法来选择特征的代码如下：
fromsklearn.feature_selectionimportSelectKBestfromminepyimportMINE#由于MINE的设计不是函数式的，定义mic方法将其为函数式的，返回一个二元组，二元组的第2项设置成固定的P值0.5defmic(x,y):m=MINE()m.compute_score(x,y)return(m.mic(),0.5)#选择K个最好的特征，返回特征选择后的数据SelectKBest(lambdaX,Y:array(map(lambdax:mic(x,Y),X.T)).T,k=2).fit_transform(iris.data,iris.target)3.2Wrapper3.2.1递归特征消除法递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。使用feature_selection库的RFE类来选择特征的代码如下：
fromsklearn.feature_selectionimportRFEfromsklearn.linear_modelimportLogisticRegression#递归特征消除法，返回特征选择后的数据#参数estimator为基模型#参数n_features_to_select为选择的特征个数RFE(estimator=LogisticRegression(),n_features_to_select=2).fit_transform(iris.data,iris.target)3.3Embedded3.3.1基于惩罚项的特征选择法使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维。使用feature_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型，来选择特征的代码如下：
fromsklearn.feature_selectionimportSelectFromModel#带L1和L2惩罚项的逻辑回归作为基模型的特征选择#参数threshold为权值系数之差的阈值SelectFromModel(LR(threshold=0.5,C=0.1)).fit_transform(iris.data,iris.target)3.3.2基于树模型的特征选择法树模型中GBDT也可用来作为基模型进行特征选择，使用feature_selection库的SelectFromModel类结合GBDT模型，来选择特征的代码如下：
使用decomposition库的PCA类选择特征的代码如下：
fromsklearn.decompositionimportPCA#主成分分析法，返回降维后的数据#参数n_components为主成分数目PCA(n_components=2).fit_transform(iris.data)