转主数据管理实施全流程保姆级教程后山前堂客

大家好,我是一哥,有朋友问我,有没有主数据落地的方案?emmm...我手上有不少方案,但是新的涉密,老的没太大参考价值。

我顺手请教了一下蔡春久老师,发现他们写的《数据治理:工业企业数字化转型之道》里就有非常详细的内容。于是我准备了一些数据治理书籍送给大家,文末参与送书活动。

这里面的内容包括主数据管理实施的内容、步骤及方法,我简单总结成了主数据实施七星阵和落地九阳真经!绝对是主数据项目的保姆级教程!

先上一个数据治理框架图镇楼!

主数据管理的实施不是搭建一个主数据管理平台就能达到的,而是一项长期、复杂的工程。

在项目实施中需依据快速见效、急用先建的思路,先整体规划,以主数据模型和主数据标准为基础,以主数据管理平台为载体,来开展主数据管理专项工作,确保主数据管理项目的成功。

主数据管理实施的内容主要包括成立主数据管理项目建设期组织机构、调研主数据管理现状、进行主数据识别、制定主数据标准、编制主数据管理办法、搭建主数据管理系统、集成主数据管理系统和业务系统、建立运维期组织机构、规范主数据内容等。

其中制定主数据标准是基础,规范主数据内容是过程,搭建主数据管理系统是技术手段,建立组织机构和流程是前提和保障。

主数据管理实施一般包含项目准备、现状调研与分析、标准体系构建、主数据平台搭建、数据清洗、数据服务集成、运营体系建立7个阶段,共28个实施步骤:

第一阶段:项目准备阶段

项目准备阶段的主要工作是制定项目章程,即确定项目目标、实施范围、建设内容并制订项目计划;确定项目的组织机构、人员配置、项目的组织资源管理及组织职责;选取组织架构、业务范围类似的优秀企业作为标杆进行对比分析,取优补劣,为主数据项目建设提出方向;召开项目启动会。主数据项目启动会非常重要,其既是动员会,又是分工会,同时也是培训会。项目启动会是主数据项目良好的开端,项目启动会的顺利召开,可以起到事半功倍的效果,为后续顺利展开工作奠定坚实的基础。

第二阶段:现状调研与分析阶段

同时对企业现有信息系统中的主数据标准、主数据质量现状进行分析,找出需求点;结合企业数据管理应用现状、需求和存在的问题进行差异化分析。

第三阶段:标准体系构建阶段

标准体系构建阶段的主要工作是主数据治理蓝图规划设计和主数据标准制定。其中主要包含4个架构体系:主数据标准架构、主数据管控架构、主数据质量体系及主数据安全架构。主数据标准包含业务标准(编码规则、分类规则、描述规则等)和主数据模型标准。

第四阶段:主数据平台搭建阶段

企业要搭建主数据平台,通过数据标准文本发布、主数据模型建设、主数据管理流程建设,实现对主数据的创建、审批、发布、修改、归档等全生命周期管理,以提高数据质量和改善信息共享现状。

第五阶段:数据清洗阶段

数据清洗阶段的主要工作是根据项目范围和对象制订数据清洗与治理方案;建立数据清洗规则和标准;根据主数据标准对历史主数据进行清洗、排重、合并、编码,保证主数据的完整性、准确性和唯一性;最后形成一套规范、可信任的主数据代码库,建立整体的标准代码库。

第六阶段:数据服务集成阶段

将主数据管理平台与各个目标信息系统集成,可以实现主数据的采集、分发等交互操作,从而最终实现将主数据服务于业务应用。

根据系统集成的整体设计,企业要实现不同信息系统与主数据系统的集成应用,其中涉及接口策略配置、属性映射配置、分发/订阅条件设置、日志跟踪管理、数据同步管理、系统联调测试等。

第七阶段:运营体系建立阶段

企业要建设主数据管理运营组织,制定主数据管理办法、维护细则、应用考核规范等管理规范,还要建立主数据运维体系。

其中主数据运维体系由组织、制度、流程、知识库、平台组成。企业通过组织各种方式的培训和交流,可以有效地传递知识。关键用户和内部IT人员要全职参加项目建设,在实践中形成企业自己的实施和运维团队。

主数据实施应聚焦关键实施内容,选择合适的方法,按次序、分阶段、合理有序地逐步推进。

1.理需求

通过现状分析及需求调研,企业可以对主数据管理的现状进行诊断分析。通过调查表格下发及反馈、资料收集及分析、业务现状调研、关键用户访谈、信息系统数据应用现状摸查、对标标杆案例研究和考察、公司知识库对比等过程,分析出用户对主数据建设的需求,以及与优秀企业的差距,在数据标准、管理体系、数据质量、数据安全、数据全生命周期管理、数据平台应用等方面提出改进建议。

2.画蓝图

在充分理解企业发展战略的基础上,企业可以根据调研分析及主数据管理能力评估结果,按照系统的方法设计主数据蓝图。主数据蓝图主要包括4个架构体系:数据标准化架构体系、数据管控架构体系、数据质量架构体系及数据安全架构体系:

3.定职责

4.定标准

主数据标准是主数据管理工作的核心内容。通过主数据标准和数据指标标准,才能实现跨组织、跨部门、跨流程、跨系统的数据集成和共享。主数据标准也是打通企业横向产业链和纵向管控的数据基础。主数据标准一般包括主数据分类标准、描述标准、编码标准和管理标准。

5.洗数据

企业要按照主数据标准,梳理和清洗企业在经营活动中产生的各类数据,形成标准主数据代码库。建立主数据代码库的过程是,按照一定的清洗规则对零散、重复、缺失、错误、废弃的原始数据进行清洗,通过数据清洗保证主数据的唯一性、准确性、完整性、一致性和有效性,然后通过系统校验、查重及人工比对、筛查、核实等多种手段对主数据代码的质量进行检查,以及通过数据清洗形成高质量的主数据代码库。数据清洗工作分为3个阶段开展和推进,包括:①数据标准宣传培训阶段;②数据收集及清洗阶段;③数据发布阶段:

6.搭平台

企业要搭建主数据管理平台来发布主数据标准文本,实现主数据全生命周期管理、主数据质量管理和主数据安全管控等。主数据管理平台是企业数据规划、数据标准落地的载体,也是实现主数据统一标准、统一规则的支撑,还是有效实施主数据全生命周期管理和数据服务的平台,以及实现数据从产生到应用,分层协同、全面治理的核心:

7.接服务

企业需要将主数据管理平台与各个目标信息系统进行集成,以实现主数据的申请、审核、分发等交互操作,从而最终实现主数据在多个系统之间的共享和统一。集成可以通过企业服务总线(ESB)方式,也可以通过WebService和XML方式:

8.建体系

主数据管理平台上线运行后,企业需要成立数据标准化运营组织,明确各岗位的职责,结合企业的实际情况制定主数据管理制度、管理流程及维护细则,以及建立主数据运维体系,为主数据的长效、规范运行奠定坚实的基础:

运维体系由组织、制度、流程、知识库、平台组成。建立适合企业的运维体系,才能确保主要的数据管理有对应的业务牵头部门负责:

9.促应用

主数据应用管理是保障主数据落地和主数据质量非常重要的一环。主数据应用管理主要包含明确管理要求、实施有效的管理、强化保障服务,以及转化和切换存量系统主数据代码等内容。

(1)明确管理要求。企业要制定主数据应用管理制度规范,对主数据的应用范围、应用规则、管理要求和考核标准做出明确规定,并以此为依据,对主数据应用进行有效管理。

(2)制定主数据切换方案和推广应用策略计划企业要按照已建系统、在建系统、待建系统3种情况制定系统切换方案,使项目成果在未来2~3年能在企业的各层级信息系统中得到全面的应用和推广。

THE END
1.数据清洗的重要性与技巧:提升大数据分析的准确性和效率提升模型性能:在机器学习和数据分析领域,模型的性能在很大程度上依赖于输入数据的质量。数据清洗包括特征选择和特征工程,这些步骤可以帮助模型更好地识别数据中的模式,从而提高模型的预测能力。 节省时间和资源:在数据分析的早期阶段进行数据清洗可以避免在后续阶段进行昂贵的修正。自动化数据清洗流程可以进一步节省时间和资https://blog.csdn.net/Shaidou_Data/article/details/144110971
2.大数据金融第二章大数据相关技术(一) 数据清洗 目的是填补缺失的数据、平滑噪声数据、删除冗余数据、纠正错误数据、清除异常数据,将原始的数据格式进行标准化。 (二) 数据集成 数据集成是将多个数据源中的数据结合起来并统一存储,建立数据仓库,以更好的解决数据的分布性和异构性问题。 https://www.jianshu.com/p/d68251554c66
3.用于产生真实世界证据的真实世界数据指导原则(征求意见稿)二、真实世界数据来源及现状 与药物研发有关的真实世界数据主要包括在真实医疗环境下业务流程记录的数据(如电子病历),以及各种观察性研究数据等。此类数据可以是开展真实世界研究前已经收集的数据,也可以是为了开展真实世界研究而新收集的数据。 (一)真实世界数据 常见的主要来源 https://www.cn-healthcare.com/articlewm/20200804/content-1135188.html
4.拼多多2025全球物流网络优化专家社招面试攻略51CTO博客解答思路:首先介绍大数据处理的基本步骤,如数据采集、数据清洗、数据存储和数据挖掘等。然后举例说明在物流网络优化中如何应用大数据,如运输路径优化、库存管理和客户服务优化等。 6. 请解释数据可视化的概念及其在物流网络优化中的应用。 解答思路:首先解释数据可视化的定义,即通过图形化方式展示和分析数据。然后阐述数据可https://blog.51cto.com/universsky/12693042
5.2023年环卫中长期规划丰城市人民政府目前,丰城中心城区(剑光街道、剑南街道、河州街道、孙渡街道、尚庄街道、曲江镇)现状城镇人口约59.1万(截至2020年9月30日),中心城区建设用地规模约53.7平方公里。 受沪昆铁路以及赣江分割,现状城区可分为老城区、新城区、工业区三个功能片区。其中,赣江以南的东部为老城区,以商贸居住功能为主,目前建筑密度很高,居住https://www.jxfc.gov.cn/fcsrmzf/ghjhf18d/202306/c3fa7d58c9b64fd59c1003bf574a60d7.shtml
6.科学网—R语言贝叶斯统计结构方程模型Meta分析MATLAB在生态本教程包括回归及结构方程模型概述及数据探索;R和Rstudio简介及入门和作图基础;R语言数据清洗-tidyverse包;贝叶斯回归与混合效应模型;贝叶斯空间自相关、时间自相关及系统发育相关数据分析;贝叶斯非线性数据分析;贝叶斯结构方程模型及统计结果作图等。 不仅适合R语言和生态环境数据统计分析初学者,也适合有高阶应用需求的研究https://wap.sciencenet.cn/blog-3539141-1423672.html
7.数据清洗技术的研究及其应用本文首先论述了数据质量的相关理论及其定义,进而分析了进入数据仓库之前进行数据清洗的必要性以及主要的数据清洗过程,同时阐述了当前数据清洗的各种理论框架及其应用的发展现状。然后,针对已有系统的不足,提出了一个数据清洗的框架模型及其部分实现。本文的重点是对可扩展可定制数据清洗框架的研究与设计。此框架集数据清洗/https://wap.cnki.net/touch/web/Dissertation/Article/2005134902.nh.html
8.内容数据范文12篇(全文)必要时, 在接入过程中就实现对数据的清洗整理, 最终选择符合内容库需求的内容数据接入。过去, 传统媒体在内容生产上, 只重视新闻内容信息, 不重视管理和客户信息;只重视自己专属生产的信息的积累, 不重视开源社会信息。实现内容资源数据与用户数据的多方式采集, 这种做法打破了常规, 极大地丰富报业集团的数据概念, https://www.99xueshu.com/w/ikeye1u5qrlv.html
9.基于WoS分析的信息行为研究现状与趋势本文以Web of Science(以.称WoS)核心合集数据库为数据源,利用Citespace V软件和文献计量学方法,对信息行为研究论文的分布特征、关键词共现、关键词聚类以及突现词进行分析,描绘和呈现信息行为的研究现状、趋势和特点。 1 数据源与数据清洗 1.1 数据来源 https://www.fx361.com/page/2020/0709/6849134.shtml
10.中国智慧园区数字平台建设市场发展环境及投资布局建议报告产业链1、数据标注 (1)数据标注模式 (2)数据标注垂直市场 (3)数据标注区域分布 (4)数据标注市场规模 2、数据清洗 (1)数据清洗定义 (2)数据清洗方式 (3)数据清洗流程 3、脱敏脱密 (1)数据脱敏技术 (2)数据脱敏技术分类 (3)数据脱敏参与主体 (4)数据脱敏应用现状 https://www.163.com/dy/article/IV8RU3FO055675CJ.html