相信大家都听说过这样一句话：废料进、废品出（Garbagein,Garbageout）。如果模型基于错误的、无意义的数据建立，那么这个模型也会出错。因此，如果源数据带有缺失值（NaN），就需要在数据预处理中进行清洗。缺失值是最常见的数据问题，有很多处理缺失值的方法，一般均按照以下四个步骤进行。
1.确定缺失值范围
具体代码如下：
#检查数据缺失情况defcheck_missing_data(df):returndf.isnull().sum().sort_values(ascending=False)check_missing_data(rawdata)Income1Age1OnlineShopper0Region0dtype:int64对每个字段都计算其缺失值比例后，按照缺失比例和字段重要性，分别制定相应的解决策略，可用图3-6表示。
▲图3-6缺失值应对策略
图3-6看似明确了不同情况的应对策略，但在实际应用中对特征的重要性判断非常复杂，通常需要到模型中去判断。对数据库进行研究并对所需解决的问题进行分析，可确定哪些特征属于重要特征，哪些特征可以省去或者删掉。
比如我们很难对每个数据的ID（独特编码）进行补全，在有的情境下这些信息是必要信息，不能够缺失，而在有的情境下却根本不需要这类信息。
所以在缺失值补全的操作前，探索数据和深入了解数据库是必要的。我们必须清楚每个变量所代表的含义，以及分析的问题可能关联的数据。在一个非常复杂的数据库中，在解决某个实际问题时，通常不需要所有的变量参与运算。
2.去除不需要的字段
3.填充缺失内容
1）以同一指标的计算结果（均值、中位数、众数等）填充缺失值。代码如下：
test1=test1.fillna(test1.mean())#用均值填充缺失值test1=test1.fillna(test1.median())#用中位数填充缺失值test1=test1.fillna(test1.mode())#用众数填充缺失值2）通过找寻带有缺失值的变量与其他数据完整的变量之间的关系进行建模，使用计算结果进行填充（这一方法较为复杂，而且结果质量可能参差不齐，可在后期习得数据建模技巧后进行尝试）。
3）以其他变量的计算结果填充缺失值。举个最简单的例子：年龄字段缺失，但是有屏蔽后六位的身份证号信息，那么就可以轻松找出出生年月，算出目前年龄。
4）以业务知识或经验推测填充缺失值。
4.重新取数
继续以Income_n_onlineshopping为例介绍，如图3-7所示。
▲图3-7查看数据是否存在缺失值
统计各列的缺失值情况，结果如图3-8所示。
从图3-7可以看出，这10行数据中第4行和第6行的部分值显示为NaN，也就是数据发生缺失。有时数据本身可能并不是在缺失值位置上留空，而是用0对空缺位置进行填充，根据对数据的理解我们也可以分辨出是否需要对0值数据进行统计和转换。
由于数值缺失占比较少，我们可以通过计算填补空缺，这里我们采用平均值填充。
如果数据是由系统日志而来的，那么通常会在格式和内容方面与元数据的描述保持一致。而如果数据是由人工收集或用户填写而来的，则有很大可能会在格式和内容上存在问题。简单来说，格式和内容的问题有以下几类。
2.数据值含有“非法”字符
字段中的值通常是有范围的，有些字符不适合出现在某些字段中，比如：
解决这类问题时，需要以半自动校验半人工方式来找出可能存在的问题，并去除不合适的字符。
3.数据值与该字段应有内容不符
例如，姓名栏填了性别、身份证号中写了手机号等。这类问题的特殊性在于不能简单地以删除方式来处理，因为有可能是人工填写错误，前端没有校验，或者导入数据时部分或全部存在列没有对齐导致，需要具体识别问题类型后再有针对性地解决。
格式内容出错是非常细节的问题，但很多分析失误都是源于此问题。比如跨表关联失败，是因为多个空格导致关键字段进行交集运算时认为“刘翔”和“刘翔”不是一个人；统计值不全，是因为数字里掺个字母在之后求和时发生问题；模型输出失败或效果不好，是因为数据对错列了，把日期和年龄混了等。
因此，在进行这一步时，需要仔细检查数据格式和内容，特别是当数据源自用户手工填写且校验机制不完善时。
03逻辑错误清洗
这一步工作的目的是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止由此导致分析结果偏差。逻辑错误清洗主要包含以下几个步骤。
1.去重
由于格式不同，原本重复的数据被认为并非重复而没能成功剔除，比如由于空格导致算法认为“刘翔”和“刘翔”不是一个人，去重失败。由于重名的情况很常见，即使中间空格被去掉后两条数据的值一致，也很难直接决定将第二条数据删除，这时就需要比较其他字段的值。
2.去除不合理值
如果字段内取值超过合理范围，比如“年龄：180岁；籍贯：火星”，则这种数据要么删掉，要么按缺失值处理。当然最好的做法是在前期收集这种字段的数据时让用户在有限范围内进行选取，以避免此情况出现。可以通过异常值查找去除不合理值。
3.修正矛盾内容
有时我们拥有多个包含相同信息的维度特征，这时就可以进行交叉验证，修复矛盾内容。比如一个隐去后六位的身份证号，100000199701XXXXXX，而年龄字段数据为18，这显然是不合理的，由于身份证号可信度更高，所以我们应该对年龄字段进行修复。
更好的做法是通过脱敏的身份证号提取出生年月，直接建立新的出生日期字段并用此年龄字段替换用户手动填写的年龄字段。
在真实世界中获取的数据常常会包含错误信息，有的是人为导致，有的是非人为导致，我们可以通过交叉验证及时发现并修复矛盾内容，为后期建模提供更高质量的数据信息。
2）检查数据协方差：
rawdata.cov()#协方差矩阵结果如图3-10所示。
▲图3-10协方差矩阵
关于作者：刘鹏，教授，清华大学博士，云计算、大数据和人工智能领域的知名专家，南京云创大数据科技股份有限公司总裁、中国大数据应用联盟人工智能专家委员会主任。中国电子学会云计算专家委员会云存储组组长、工业和信息化部云计算研究中心专家。
高中强，人工智能与大数据领域技术专家，有非常深厚的积累，擅长机器学习和自然语言处理，尤其是深度学习，熟悉Tensorflow、PyTorch等深度学习开发框架。曾获“2019年全国大学生数学建模优秀命题人奖”。参与钟南山院士指导新型冠状病毒人工智能预测系统研发项目，与钟南山院士团队共同发表学术论文。