干货来了！快速教你数据清洗的步骤及方法明月说数据

这类数据的原因是业务系统完善接收输入后没有判断直接写入背景数据库，如数值数据输成全角数字字符、字符串数据、日期格式不正确、日期越界等。这种类型的数据还需要进行分类，对于类似于全角字符、数据前后出现不可见字符的问题，只能通过编写SQL语句来查找，然后让用户在业务系统改后抽取。日期格式不正确或日期越界的错误会导致ETL运行失败，这种错误需要通过SQL的方式从业务系统数据库挑选出来，交给业务主管部门，要求限期修改，改后提取。

三、重复数据

这种类型的数据，尤其是在维表中，就会出现这种情况，所以要把所有重复数据记录的字段都写出来，让客户进行确认和分析。

资料整理是一个反复的过程，只有不断地发现问题，解决问题，才能在几天内完成。关于是否过滤，一般需要客户确认，被过滤的数据，写到Excel文件把滤数据写到数据表，ETL开发初期每天都会把过滤数据的邮件发送给业务单位，促使他们尽快修改错误，并可以作为未来验证资料的基础。要注意的是，不能过滤有用的数据，要仔细验证每条过滤规则，然后让用户确认。

搞清楚了数据清洗的原则和理论，接下来进行数据清洗就容易很多啦~

如何进行数据清洗

1、对缺失值进行清洗

一般来说，缺失值是最常见的数据问题，处理缺失值也有很多办法，我们需要按照步骤来做，第一就是确定缺失值范围：计算每个字段的缺失值比例，然后根据缺失比例和字段重要性，制定策略。

2、去除不需要的字段

实际操作非常简单，可以直接删除，但需要提醒您，在清理数据时，每做一步都备份，或者在小规模数据上成功测试，然后处理所有数据，如果删除错误数据会后悔。

3、填充缺失内容

原因在于，一些缺失值可以通过三种方式被填充，即根据商业知识或经验推测填补缺失值、用相同的指标的计算结果(均值、中位数、众数等)填充缺失值、以不同指标的计算结果填充缺失值。

4、重新取数

5、关联性验证

现在你对数据清洗有更深的理解吗？数据清洗是数据分析中非常重要的一步，其重要性不容忽视。但是使用合适的工具可以使数据清洗更加高效方便。正所谓，工欲善其事，必先利其器。借助工具进行数据清洗是非常必要的，思迈特软件Smartbi一站式大数据分析平台的数据清洗功能就很值得推荐。强大的数据处理功能、分布式计算架构，还支持内置排序、去重、映射、行列合并、行列转换聚合、去空值等数据预处理功能。