数据治理:如何实施数据清洗,提升数据质量?发展导航中国发展网

在数据治理工作中,为了彻底解决企业的数据质量历史遗留问题(数据不一致、不完整、不合规、数据冗余等),必须对存量数据进行改造,实施“数据清洗”工作。

“数据清洗(Datacleaning)”一词,是数据治理领域中的专业术语。从字面意义上理解,“数据清洗”就是将数据上“脏”的部分清洗干净,让数据变得干净整洁可用。从专业角度来说,对于企业中的存量(历史)数据,“数据清洗”能够补充其缺失的部分、纠正或删除其不正确的部分、筛选并清除其重复多余的部分,最后将其整理成便于被分析和使用的“高质量数据”。

中翰将数据清洗的工作内容总结为以下两点:

●问题数据的补充、调整;

●冗余数据的查重、映射。

二、数据清洗的流程和策略

企业的数据质量问题经过发展多年的累积,清洗难度较大。要彻底“洗掉”企业存量数据中的“脏数据”,且有效避免“脏数据”再次出现形成污染,必须按照一定的原则和方法开展实施工作。

对此,中翰凭借多年的工作经验,不仅总结制定出了一套科学有效的实施流程和策略,还研发了基于中翰数据治理平台的数据清洗平台组件,显著提高了数据清洗改造的工作效能。

(一)分析存量数据质量

企业存量数据质量的分析工作是否到位,很大程度上决定了数据清洗改造的成功与否。

(二)制定清洗策略

企业在制定数据清洗策略时,要考虑两方面内容:

1.根据企业自身实际情况选择不同数据清洗模式,具体方法见图二:

2.根据数据的不同类型选择有针对性的清洗方法,具体方法见图三:

(三)制定清洗规则

数据清洗策略的制定属于宏观层面上工作方向的确定,落实到具体实施工作中,还需要确定一些工作细则,以支持实际清洗工作的顺畅有序进行。

数据清洗规则包括清洗流程、清洗分工、清洗内容、方法手段等几个方面,需要具体情况具体分析,在此展示一些普适性工作流程(图四)和某家公司数据清洗的工作内容(图五)和分工(图六)作为示例:

(四)在技术支撑下实施数据清洗

准备工作完成后,数据清洗的实施工作需要依靠一定的技术手段来进行。中翰自主研发的数据治理平台,包含数据清洗平台组件,可以实现:

1.通过数据质量模型管理,对导入的存量数据进行质量核查;

2.通过流程管理功能,实现存量数据改造的工作分配、监控;

(五)数据清洗后的业务系统处理

存量数据清洗并产生映射关系后,数据清洗工作并未结束。最终还需要确定被清洗出来的问题数据的归属。有些问题数据还处在使用过程中,直接停用会对业务产生影响。根据以往经验,中翰规划了清洗后问题数据的处理方案(见图八),在工作中,可结合企业的实际情况进行调整。

THE END
1.DCI数据清洗与整合平台康赛数据清洗与整合平台Comsys Data Clean Integrator(简称DCI?),集数据抽取、清洗、转换及加载于一体,通过标准化各个业务系统产生的数据,向数据中心/仓库提供可靠的数据,实现部门内的应用和跨部门的应用的业务数据间单向整合、双向整合和多级数据共享,进而为实现商业智能、数据挖掘、应用集成、正确决策分析等提供必要的http://dci.comsys.net.cn/
2.数据清洗2.0:揭秘智能化数据治理的未来智能数据清洗数据清洗2.0的创新方式正引领着数据处理和集成的新篇章。通过智能技术、自动化流程和数据挖掘等手段,数据清洗2.0优化了数据处理的效率和准确性,为业务决策提供了更有价值的洞察。随着技术的不断发展,数据清洗2.0有望实现更高级的自动化和智能化,进一步提升数据处理和集成的效率与价值。企业应密切关注数据清洗2.0的发展,https://blog.csdn.net/m0_59163425/article/details/142601864
3.业务数据清洗,落地实现方案而分析业务通常都是要面对全局数据,如果出现大量的上述情况,就会导致数据在使用的时候难度非常大,随之也会带来很多问题:数据分散不规范,导致响应性能差,稳定性低,同时提高管理成本。 当随着业务发展,数据的沉淀越来越多,使用的难度就会陡增,会导致在数据分析之前,需要大量时间去清洗数据。 https://xie.infoq.cn/article/8b2e8c2b1609e3f90bf902a3f
4.一文看懂风控模型所有(应该)银行信息2)数据业务理解 3)数据探索分析 4)定义目标变量 5)样本设计和抽取策略 6)数据清洗 7)特征衍生 8)特征变量筛选 9)模型变量分箱 10)模型拟合 11)模型评估常用指标 12)模型预测概率校准 13)模型违约概率误差校准 五.评分模型如何应用于决策 六.技术的升华之路 http://www.sinotf.com/GB/SME/Bankinfo/2020-05-07/2OMDAwMDM0MzE2OA.html
5.Prompt用得好,增长工作下班早增长工作繁重复杂,需对用户、收入、核心路径转化率负责,使用产品设计、各类运营动作等多样化手段,达到业务数据的增长目标。 本文将介绍增长工作中亲测好用的 prompt(提示词),助力高效办公。无论你是创业者、产品经理还是市场营销人员,都可获得有价值的干货。 https://www.niaogebiji.com/article-645093-1.html
6.数据分析过程中有哪些常见错误四、数据解释错误,包括数据解释和业务理解错误。 一、数据清洗错误 数据清洗是数据分析过程中的一个关键步骤,它可以保证数据的准确性和完整性。以下是数据清洗中的常见错误介绍: 1.缺失值处理错误 缺失值是数据分析中常见的问题,如果缺失值处理不当,可能会影响数据分析的准确性。常见的处理方法包括删除缺失值和填充缺https://www.linkflowtech.com/news/1602
7.ETL设计详解(数据抽取清洗与转换)数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据和重复的数据三大类。 A. 不完整的数据,其特征是是一些应该有的信息缺失,如供应商的名称,分公司的名称,客户的区域信息缺失、业务系统中主https://www.jianshu.com/p/6b88d125c949
8.帆软FineBI数据编辑,帮你省下80%浪费在数据处理的时间!数据处理工作难,因为数据是混乱的。就连分析师朋友也自嘲到,日常要用80%的时间处理数据,另外20%的时间抱怨数据处理有多难……但在“数据时代”,处理数据的能力同英语、驾驶一样成为普适型的需求了。那么作为普通的业务人员如何应对数据时代下的挑战呢? https://www.360doc.cn/mip/1132147943.html
9.大数据平台架构重构从上图可知,主要基于Hadoop1.x+hive做离线计算(T+1),基于大数据平台的数据采集、数据接入、数据清洗、作业调度、平台监控几个环节存在的一些问题来列举下。 数据采集: 数据收集接口众多,且数据格式混乱,基本每个业务都有自己的上报接口 存在较大的重复开发成本 https://www.upyun.com/opentalk/380.html
10.大数据平台层级结构12351CTO博客(2)数据仓库是集成的,数据仓库中的数据可能来源于多个数据源,数据仓库会将需要的数据从中抽取出来,然后进一步转化、清洗,再集成到数据仓库中。 (3)数据仓库是不可更新的,数据仓库主要是为业务提供分析决策的数据,因此,对数据的主要操作都是查询。 数据仓库的数据要为业务提供快速高效的分析,因此数据仓库只有满足如下http://zhuxianzhong.blog.51cto.com/157061/4912923/