现实世界中的数据总是“脏的”，主要体现在数据不准确，不完整，不一致，含有噪声和异常等，而数据清洗的目的就是尽可能的使现实中的数据变得准确，完整，一致，真实，可信。
下面逐一讨论如何对存在这些问题数据进行清理。
先从简单的开始：
一，数据不完整，即数据中存在缺失值，对于缺失值的处理主要有以下几种方法：
#删除存在缺失值的记录，如果样本数据量比较大，缺失信息较少，删除少量的缺失，是可以接受；但如果样本数据比较大，缺失也比较大的情况，或样本数据量本身比较小，删除缺失的信息对数据挖掘结果来说可能得到不可靠的结论；
#不处理缺失信息，直接对缺失的数据进行数据挖掘，这可能造成挖掘分析难度大，结论不可靠；
#填充缺失信息，
1，平均值、众数、中位数进行填充；如数据分布比较均匀，在曲线图上表现为变化比较平缓，可以用均值进行填充；当某一个值在特征向量中出现次数较多，则可以众数填充。
2，使用常数填充，这个需结合实际分析，分析数据间的实际意义；
3，多项式插值：回归插值，拉格朗日插值，牛顿插值法，样条插值
4，KNN插值（K最近邻），效果不错，补全后的数据不改变分布。推荐大家用，R中实现了一个数据预处理包yaImpute,感兴趣的可以参考
二，数据中存在异常处理方法：
1，通过简单的统计分析，如3σ准则，数值分布在(μ-3σ,μ+3σ)中的概率为0.9974，可以认为，Y的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%。由于落在(μ-3σ,μ+3σ)范围内的概率是很小的，因此可以认为，不在(μ-3σ,μ+3σ)范围内的数据是异常数据。（使用3σ准则使用前提的，数据统计分布是正态，或近似正态，怎么判断正态性？R语言中有一个函数可以近似判断，即：shapiro.test()可以进行关于正态分布的Shapiro-Wilk检验）
2，箱型图分析
箱型图提供了识别异常值的标准：异常通常被定义为:
小于QL-1.5IQR或大于QU+1.5IQR
式中：QL为下四分位点，QU上四分位点，IQR分位距=QU-QL。
箱型图分析优点：箱型图根据实测数据绘制而成，不要求数据具有特定的统计分布，另一方面，箱型图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性：多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。
三，数据中噪声处理
处理方法：分箱；聚类；计算机和人工检查结合；回归
1，分箱
分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据（某列属性值）按照一定的规则放进一些箱子中，考察每一个箱子中的数据，采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时，需要确定的两个主要问题就是：如何分箱以及如何对每个箱子中的数据进行平滑处理。
分箱的方法：有4种：等深分箱法、等宽分箱法、最小熵法和用户自定义区间法。
统一权重，也成等深分箱法，将数据集按记录行数分箱，每箱具有相同的记录数，每箱记录数称为箱子的深度。这是最简单的一种分箱方法。
统一区间，也称等宽分箱法，使数据集在整个属性值的区间上平均分布，即每个箱的区间范围是一个常量，称为箱子宽度。
用户自定义区间，用户可以根据需要自定义区间，当用户明确希望观察某些区间范围内的数据分布时，使用这种方法可以方便地帮助用户达到目的。
例：客户收入属性income排序后的值（人民币元）：800100012001500150018002000230025002800300035004000450048005000，分箱的结果如下。
统一权重：设定权重（箱子深度）为4，分箱后
箱1：800100012001500
箱2：1500180020002300
箱3：2500280030003500
箱4：4000450048005000
统一区间：设定区间范围（箱子宽度）为1000元人民币，分箱后
箱1：80010001200150015001800
箱2：20002300250028003000
箱3：350040004500
箱4：48005000
用户自定义：如将客户收入划分为1000元以下、1000~2000、2000~3000、3000~4000和4000元以上几组，分箱后
箱1：800
箱2：100012001500150018002000
箱3：2300250028003000
箱4：35004000
箱5：450048005000
下面介绍数据平滑方法：
⑴按平均值平滑
对同一箱值中的数据求平均值，用平均值替代该箱子中的所有数据。
⑵按边界值平滑
用距离较小的边界值替代箱中每一数据。
⑶按中值平滑
取箱子的中值，用来替代箱子中的所有数据。
2，聚类：将物理的或抽象对象的集合分组为由类似的对象组成的多个类。
找出并清除那些落在簇之外的值（孤立点），这些孤立点被视为噪声。
总结
这些方法并不是万能，现实世界的复杂多样，我们需要针对具体情况具体分析，选择合适的方法，提高数据质量，以保证得到可靠的数据挖掘结论。