欢迎访问合肥市大数据资产运营有限公司网站!
0551-65909059   公司OA
联系电话:
当前位置:首页>>新闻中心>>行业动态 >>数据治理平台工具前世今生
今天是: 2024年05月17日   【农历:四月初十 】  星期五
数据治理平台工具前世今生

本文经授权转载自数据工匠俱乐部(作者:蔡春久)

原文链接:https://mp.weixin.qq.com/s/HJykXa_VhanLUcLw2Hs6IQ

前言

伴随着企事业单位信息化不断的深入、各种技术持续的发展以及人们对数据治理的认知不断加深,数据治理工具在过去的20年也不断的发展,笔者以某世界500集团企业案例为原型,介绍数据治理工具发展及变迁及未来发展趋势和方向,供广大读参考。

数据治理背景介绍

狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的数据治理称为数据资产管理。

数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。

数据治理管理工具演变历程及各自阶段典型特点

笔者根据20年的从业信息化行业经验,总结了数据治理工具演变历程和在不同阶段典型特征。


图1. 数据治理管理工具演变历程

1)第一代数据治理工具-编码时代(起步期,1994-2004年)

在这个时代里,企事业单位各种MIS系统得到较好的发展和应用,最典型莫过于是物资管理系统、进销存系统、PDM系统等信息系统。为了确保这些MIS系统各种编码好用,好查,避免一物多码情况的发生,一些大型集团企业在早期开发一些名叫“编码系统”“编码网站”等系统,这些系统主要发布主数据代码为主,配合某一单一的MIS系统应用为主,有的甚至在这些单一系统开发一个模块,如编码模块。这是数据治理工具最早期的工具,确保MIS中各种编码唯一性。

以下为编码管理系统功能架构。

图2. 编码管理工具功能结构图

以下以物资编码管理系统为例,列举了物料编码系统功能点。

图3. 物料编码管理系统功能范例

在这个时代,编码系统采用B/S架构、C/S架构都有,采用.netJAVA技术居多,通过分发和订阅形式发布数据。以下为物资编码系统系统页面。

图4. 物料编码管理系统功能页面范例

2)第二代数据治理工具-主数据管理时代(发展期,2005年-2011年)

这个时代最典型是国内很多大型集团企业流行实施ERP系统,国外主流产品例如SAP ERP和Oracle EBS等产品,国内主流产品例如用友的U8、NC、金蝶的K3等。

最早的是些外国ERP厂商推出MDM产品,例如Informatica、Oracle、IBM、SAP 、微软都采取了自有产品并提供主数据管理解决方案,集中管理单一版本的、完整的和可信任的主数据信息。这些产品具有企业级主数据存储、数据整合、数据共享、数据质量、数据治理5大功能。基于SOA架构的企业级应用。支持两种实施模式:即“推动模式(交易模式)”和“拉动模式(共享模式)”。

主数据分发和交换主要采用企业服务总线(ESB)产品,较多使用国外主流IT厂商产品,例如:微软的BizTalk、IBM WAS 、 Oracle OSB 、SAP XI(后来叫PI/PO)等。采用SOA, B/S架构,主要为ERP等经营管理系统服务。

图5.     某国际厂商 MDM系统的功能结构

某国际厂商主数据管理解决方案涵盖主数据建模、数据导入、数据分发、数据查重、数据校验、数据完善、数据创建流程等企业主数据管理的各个方面。提供基于行业标准的模型建模语言,供客户快速定义主数据创建或审批流程,支持并行和串行流程,并提供强大的流程分析报表,帮助企业提高流程效率。同时提供Java/.Net/Web Service等多种API,满足和企业内其他系统集成的需求。该主数据管理解决方案可通过数据校验、数据查重和数据合并等手段,有效的提高企业主数据的质量。同时提供可选的组件Data Quality,提供深度的数据质量校验功能,如根据中国邮政名址库进行客户地址校验更正,提高地址的质量。<