谈谈主数据建设过程中历史数据清理策略和方法

由主数据项目组将各专业信息系统中导出的主数据进行初步清理、标记工作。根据新的分类标准体系,将各专业系统中的主数据按照保留、停用等状态标记,提示给下一步做具体清理工作的人员,以指导数据清理工作。

2、分类清理

对主数据采用分类清理的策略,首先制定出清理收集模板,其中材料主数据每一个小类制定一个模板,在每一个模板上设置必须项及说明;按照清理模板要求的属性规范进行填写收集。

3、先分后合

数据清理人员的工作内容,按主数据的条数分工,其中材料主数据原则上一个小类项下的所有材料主数据由一人负责;检查无误的主数据提交到集团及下属单位主数据项目组,由项目组统一合并汇总,完成数据的导入。

4、分段清理

第三阶段:在第二阶段清理开始以后的主数据申请由集团及下属单位统一记录,随时进行数据清理,并同步到集团及下属单位主数据编码库中,主数据系统上线前,完成所有的清理工作。

5、检查反馈

检查在数据清理过程中是一项非常重要的工作,定期检查能够保证数据清理的质量,根据检查情况制定出问题的解决方案,并及时反馈给数据清理人员,避免盲目清理数据。

专业检查的频率采用先紧后松的方式,数据清理开始阶段每周检查一次,后调整为每两周一次,以保证清理数据的质量。

三、清理步骤

1、数据清理培训

由集团主数据项目组的数据清理顾问,对集团及下属单位数据清理组、下属单位数据清理组所有的成员进行集中的数据清理工作培训;下发工作计划以及工作要求(数据收集模板同时下发)。

2、专业系统主数据导出

由各专业系统服务方的人员,按照清理范围内的要求将各专业系统中的主数据完整的导出,形成Excel文件,并将该文件提交给集团及下属单位数据清理负责人进行数据完整性检查,检查完毕后将文件提交给集团主数据项目组方数据清理顾问。

3、数据初步处理

由集团主数据项目组的数据清理顾问,将提交上来的主数据Excel文件,根据新的主数据属性标准进行标记,标记分为如下两种:

此标记只是给数据清理人员作为参考,最终以数据清理人员的标记为准。

4、主数据清理分工

主数据项目组数据清理负责人,参考数据清理人员专业特长,将各专业系统主数据Excel文件的内容按总条数进行平均分工,其中材料主数据原则上一个小类项下的内容分配给一个数据清理人员;每一位数据清理人员对自己负责范围内数据质量和清理进度负责。

5、主数据清理细化

数据清理人员对负责范围内的主数据进行清理工作,清理工作主要包括如下两项内容:

6、主数据清理结果检查

清理结果的检查分为三部分:

1、专业检查:由集团及下属单位数据清理组负责。检查专家对数据的质量进行检查核对,有问题的记录并及时反馈给数据清理人员。

2、数据导入主数据管理系统检查:由集团主数据项目组数据清理组负责。数据清理顾问经过业务检查通过的数据,进行格式内容方面的检查,检查无误后导入主数据管理系统,有问题记录并直接反馈给数据清理人员。导入完毕的文档进行归档处理,不允许再修改。

3、主数据管理系统内数据检查:由主数据管理系统项目组负责。负责检查导入到主数据管理系统中的主数据,检查主数据是否在系统中正常显示,是否准确对应到了元属性。发现问题记录并直接反馈给集团主数据项目组数据清理顾问。

4、检查周期:一周检查一次。

7、专业信息系统的主数据处理

由各专业系统服务方技术人员负责,根据原各专业系统主数据文件处理状态为“停用”的标记,将专业信息系统中的主数据批量进行限制操作。

THE END
1.练习清理和准备数据你需要先了解数据集的内容和结构,然后才能准备数据集。 在上一实验室中,你导入了包含美国一家主要航空公司的准点到达信息的数据集。 该数据包含 26 列和数千行,其中每行代表一个航班,包含航班的出发地、目的地和计划出发时间等信息。 你还将数据加载到 Jupyter Notebook 中,并使用简单的 Python 脚本从中创建 Pahttps://docs.microsoft.com/zh-cn/training/modules/predict-flight-delays-with-python/2-clean-and-prepare-data
2.数据清洗的概念常见问题及实践方法处理缺失值非常重要,因为缺失值会影响数据的分析和决策。因此,正确选择填充或删除策略是很必要的,同时也可以根据具体情况使用不同的统计方法或数据工具进行数据清洗。具体处理方法如下: 1.计算缺失比例 首先,我们可以计算每个字段的缺失值比例,然后根据比例和字段的重要性设置不同的策略。 https://blog.csdn.net/weixin_44958787/article/details/141850204
3.如何利用数据分析来提高客户留存率利用数据分析提高客户留存率的步骤:一、收集数据;二、数据清洗和整合;三、数据分析和建模;四、制定营销策略;五、实施和监测;六、持续优化。数据分析可以帮助企业提高客户留存率,从而降低成本、提高利润并增加口碑。 一、收集数据 企业需要收集客户的行为、交易、反馈等数据,可以通过网站分析工具、社交媒体分析工具、客户https://www.linkflowtech.com/news/1025
4.实践中的数据碎片化治理:策略与实施为了有效治理数据碎片化,可以采取以下策略: 建立统一的数据标准:制定统一的数据标准和规范,确保不同系统、数据库和应用程序之间的数据结构和格式一致。 数据清洗与整合:通过数据清洗和整合,消除重复、不一致和错误的数据,提高数据质量。 采用数据治理工具:利用数据治理工具对数据进行自动化管理,包括数据清洗、数据整合、数https://blog.itpub.net/31547898/viewspace-3009807/
5.大数据毕设基于Hadoop的音乐推荐系统的设计和实现(六)数据清洗模块:将指定的原始数据进行初步的清洗操作,将不需要的数据列清除。 数据上传模块:利用指定的类将数据清洗模块处理后的数据上传至提前运行的HDFS分布式系统的指定目录上。 数据分析模块:将提前写好的数据分析模块代码打包上传至HDFS集群上运行,然后在HDFS分布式系统上指定的目录得到推荐结果。 https://developer.aliyun.com/article/1404874
6.>监控平台>嘲案例>策略&告警相关>如何监控计算平台的数据在以下路径配置告警:导航 → 监控配置 → 策略 → 新建,先配置要告警的指标项: 监控对象:选择其他 添加监控指标,并在数据平台中选择对应的结果表数据和指标项 注意:监控识别指标维度是两种途径: 第一:清洗表设置维度,long 类型会出现在指标列表,其他出现在维度列表 第二:通过数据计算转换成结果表,默认 group byhttps://bk.tencent.com/docs/document/6.0/134/6175
7.如何进行数据清洗和预处理?数据清洗和预处理是数据分析和机器学习任务中不可或缺的步骤。通过适当的处理,可以提高数据的质量和可用性,并为后续分析和建模奠定基础。在进行数据清洗和预处理时,需要理解数据、制定处理策略、保留备份和总结经验等,才能取得更好的效果。 CDA数据分析师考试相关入口一览(建议收藏): https://www.cda.cn/bigdata/202679.html
8.数据清洗规则引擎数据清洗华为云帮助中心为你分享云计算行业信息,包含产品介绍、用户指南、开发指南、最佳实践和常见问题等文档,方便快速查找定位问题与能力成长,并提供相关资料和解决方案。本页面关键词:数据清洗规则引擎。https://support.huaweicloud.com/topic/1434468-1-S
9.数据资产企业内部数据价值如何挖掘?焦点这个表格展示了CRM系统中可能包含的客户数据类型。实际的CRM系统可能会包含更多的字段,如客户的生日、性别、职业、家庭状况等,以及更详细的购买记录和互动历史。这些数据可以帮助企业更好地理解客户需求,提供个性化的服务和营销策略。如果上述数据信息错误,重复或者与分析无关的就需要对数据进行清洗,确保数据的质量和准确性http://www.databanker.cn/info/354128