谈谈主数据建设过程中历史数据清理策略和方法

由主数据项目组将各专业信息系统中导出的主数据进行初步清理、标记工作。根据新的分类标准体系,将各专业系统中的主数据按照保留、停用等状态标记,提示给下一步做具体清理工作的人员,以指导数据清理工作。

2、分类清理

对主数据采用分类清理的策略,首先制定出清理收集模板,其中材料主数据每一个小类制定一个模板,在每一个模板上设置必须项及说明;按照清理模板要求的属性规范进行填写收集。

3、先分后合

数据清理人员的工作内容,按主数据的条数分工,其中材料主数据原则上一个小类项下的所有材料主数据由一人负责;检查无误的主数据提交到集团及下属单位主数据项目组,由项目组统一合并汇总,完成数据的导入。

4、分段清理

第三阶段:在第二阶段清理开始以后的主数据申请由集团及下属单位统一记录,随时进行数据清理,并同步到集团及下属单位主数据编码库中,主数据系统上线前,完成所有的清理工作。

5、检查反馈

检查在数据清理过程中是一项非常重要的工作,定期检查能够保证数据清理的质量,根据检查情况制定出问题的解决方案,并及时反馈给数据清理人员,避免盲目清理数据。

专业检查的频率采用先紧后松的方式,数据清理开始阶段每周检查一次,后调整为每两周一次,以保证清理数据的质量。

三、清理步骤

1、数据清理培训

由集团主数据项目组的数据清理顾问,对集团及下属单位数据清理组、下属单位数据清理组所有的成员进行集中的数据清理工作培训;下发工作计划以及工作要求(数据收集模板同时下发)。

2、专业系统主数据导出

由各专业系统服务方的人员,按照清理范围内的要求将各专业系统中的主数据完整的导出,形成Excel文件,并将该文件提交给集团及下属单位数据清理负责人进行数据完整性检查,检查完毕后将文件提交给集团主数据项目组方数据清理顾问。

3、数据初步处理

由集团主数据项目组的数据清理顾问,将提交上来的主数据Excel文件,根据新的主数据属性标准进行标记,标记分为如下两种:

此标记只是给数据清理人员作为参考,最终以数据清理人员的标记为准。

4、主数据清理分工

主数据项目组数据清理负责人,参考数据清理人员专业特长,将各专业系统主数据Excel文件的内容按总条数进行平均分工,其中材料主数据原则上一个小类项下的内容分配给一个数据清理人员;每一位数据清理人员对自己负责范围内数据质量和清理进度负责。

5、主数据清理细化

数据清理人员对负责范围内的主数据进行清理工作,清理工作主要包括如下两项内容:

6、主数据清理结果检查

清理结果的检查分为三部分:

1、专业检查:由集团及下属单位数据清理组负责。检查专家对数据的质量进行检查核对,有问题的记录并及时反馈给数据清理人员。

2、数据导入主数据管理系统检查:由集团主数据项目组数据清理组负责。数据清理顾问经过业务检查通过的数据,进行格式内容方面的检查,检查无误后导入主数据管理系统,有问题记录并直接反馈给数据清理人员。导入完毕的文档进行归档处理,不允许再修改。

3、主数据管理系统内数据检查:由主数据管理系统项目组负责。负责检查导入到主数据管理系统中的主数据,检查主数据是否在系统中正常显示,是否准确对应到了元属性。发现问题记录并直接反馈给集团主数据项目组数据清理顾问。

4、检查周期:一周检查一次。

7、专业信息系统的主数据处理

由各专业系统服务方技术人员负责,根据原各专业系统主数据文件处理状态为“停用”的标记,将专业信息系统中的主数据批量进行限制操作。

THE END
1.深度学习数据清洗的目的mob649e81673fa5的技术博客深度学习的成功依赖于高质量的数据。在深度学习之前,数据清洗是一个至关重要的步骤。本文将详细介绍数据清洗的目的,流程及实现步骤,帮助初学者更好地理解这一过程。 数据清洗目的 数据清洗的主要目的是去除噪声和不一致的数据,确保输入到深度学习模型中的数据是准确和高效的。具体包括: https://blog.51cto.com/u_16175512/12697067
2.数据分析中的数据清洗方法策略数据清洗策略csdn数据分析中的数据清洗方法策略 由于原始数据中或多或少存在一些缺失、损坏的脏数据。如果不处理会导致模型失效。就好比一个水平很高的厨师,给到的原材料如果不卫生不干净,那也很难做出一道让人满意的菜品。因此在整合数据建立模型之前, 应先评估数据的质量,对数据进行清洗。https://blog.csdn.net/qq_22201881/article/details/142056502
3.部署数据治理解决方案MicrosoftLearn使用Microsoft Purview 数据生命周期管理(以前为 Microsoft 信息治理)保留所需内容并删除不需要的内容。展开表 步骤说明更多信息 1 了解Microsoft 365 服务保留和删除工作原理。 了解如何使用保留策略和保留标签后,确定需要保留策略的工作负荷,以及是否需要为异常创建保留标签。 了解保留策略和保留标签 2 创建保留策略,https://docs.microsoft.com/microsoft-365/compliance/data-governance-solution
4.数据清洗范例6篇因此,如何制定和执行安全、高效的数据清洗策略,实现对图书馆大数据资源的检测、校验、修正、整合与分解,及时发现并纠正大数据中存在的错误、缺失、异常和可疑数据,确保图书馆大数据资源结构完整、正确和无重复,是关系图书馆大数据应用与决策安全、科学、高效、经济和可控的重要问题。https://www.baywatch.cn/haowen/155864.html
5.一文看懂风控模型所有(应该)银行信息5)样本设计和抽取策略 6)数据清洗 7)特征衍生 8)特征变量筛选 9)模型变量分箱 10)模型拟合 11)模型评估常用指标 12)模型预测概率校准 13)模型违约概率误差校准 五.评分模型如何应用于决策 六.技术的升华之路 01 风控模型概要 在社会数据厚度和纬度不断增加的当下,大数据与金融服务的跨界结合越加紧密,互联网技术http://www.sinotf.com/GB/SME/Bankinfo/2020-05-07/2OMDAwMDM0MzE2OA.html
6.大数据分析对企业营销有哪些帮助二、优化营销策略; 三、提升用户体验。近年来,随着互联网的发展和数字化时代的到来,大数据分析已经成为企业发展和竞争的重要手段。 一、提高营销效率 传统的营销方法往往是基于经验和直觉,缺乏科学的依据。而大数据分析可以对海量的数据进行采集、整理、分析和挖掘,从而为企业提供科学的数据支持,更好地理解目标客户,决https://www.linkflowtech.com/news/2697
7.历史数据内容清洗解决方案用户存量数据清洗内容过滤引擎无法快速清洗 针对需要在指定时间节点集中处理的海量历史数据,无法在预期时间达到全量快速清洗目标 缺乏布控经验 政策解读不系统,对策略布控经验不足,无法精准从海量数据中清洗出问题数据,达不到内容过滤目的 没有定期回溯过滤 内容安全意识相对薄弱,对存量历史数据没有定期过滤,内容安全风险似隐形炸弹,随时可能爆发 方案https://m.dun.163.com/solution/history-data
8.如何进行数据清洗和预处理?数据清洗和预处理是数据分析和机器学习任务中不可或缺的步骤。通过适当的处理,可以提高数据的质量和可用性,并为后续分析和建模奠定基础。在进行数据清洗和预处理时,需要理解数据、制定处理策略、保留备份和总结经验等,才能取得更好的效果。 CDA数据分析师考试相关入口一览(建议收藏): https://www.cda.cn/bigdata/202679.html
9.数据清洗的方法包括哪些?数据清洗常见六大问题及处理方法!处理缺失值非常重要,因为缺失值会影响数据的分析和决策。因此,正确选择填充或删除策略是很必要的,同时也可以根据具体情况使用不同的统计方法或数据工具进行数据清洗。具体处理方法如下: 1.计算缺失比例 首先,我们可以计算每个字段的缺失值比例,然后根据比例和字段的重要性设置不同的策略。 https://www.fanruan.com/bw/sjqxcjldwt
10.如何对数据进行清洗以下是对数据进行清洗的一般步骤和方法: 数据探索与评估: 在开始清洗之前,先对数据进行初步的探索,了解数据的整体情况,包括数据的类型、范围、缺失值、异常值等。 缺失值处理: 识别数据中的缺失值,并根据情况采取不同的处理策略,如删除含有缺失值的记录、使用均值、中位数或众数填充缺失值,或使用更复杂的预测模型来https://www.ai-indeed.com/encyclopedia/9102.html
11.Stata数据处理:清洗CFPS数据库我们再在 Result_data 中新建 4 个文件夹: Dofiles 、 Logfiles 、 Temp_data 和 Working_data ,存放数据清洗的 do 文档、 log 文档、产生的过程数据和最终的结果数据。这么复杂的起手式是为了帮助我们在后续清洗过程中理清自己的思路,不至于手忙脚乱,这在处理繁复的数据中尤为重要。https://www.lianxh.cn/news/2916ae8363459.html