DAMA学习笔记(九)-参考数据和主数据

1.弁言

  在大型组织中，各种项目和方案、合并和收购以及其他贸易活动导致存在多套在本质上作用雷同的系统，它们相互隔离，无法沟通。以上这些环境不可避免地导致了系统间数据布局和数据值的不 一致，从而增加了成本和风险。组织可以通过对参考数据和主数据的管理来降低成本和风险。 参考数据和主数据语境关系图如下图所示。

1.业务驱动因素

  启动主数据管理最常见的驱动因素包罗：

• 1）满意组织数据需求。组织中的多个业务领域须要访问雷同的数据集(数据是完整的、最新的、一致的), 主数据是这些数据集的基础。
  
• 2）管理数据质量。主数据管理通过使用统一的标识来界说对组织至关紧张的实体，进步数据质量, 以降低这些风险。
  
• 3）管理数据集成的成本。通过主数据管理可减少对关键实体的界说和识别方式变革而产生的额外成本。
  
• 4）降低风险。主数据简化了数据共享架构，从而降低了与复杂环境相关的成本和风险。
  

  启动参考数据管理最常见的驱动因素包罗：

• 1）通过使用一致的参考数据，满意多个项目的数据需求，降低数据整合的风险和成本。
  
• 2）提升参考数据的质量。
  

  数据驱动型的组织活动通常侧重于交易数据（增加贩卖或市场份额、降低成本、展示服从性等），但使用此类交易数据的能力高度依靠 参考数据和主数据的可用性和质量。进步参考数据和主数据的可用性及质量，对提升数据的整体质量和业务信心有显著的影响。
2.目的和原则

  参考数据和主数据管理规划的目的包罗：

• 1）确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据。
  
• 2）促使企业在各业务单元和各应用系统之间共享参考数据和主数据。
  
• 3）通过采用尺度的、通用的数据模子和整合模式，降低数据使用和数据整合的成本及复杂性。
  

  参考数据和主数据管理遵循以下指导原则：

• 1）共享数据。为了能在组织中实现参考数据和主数据共享，必须把这些数据管理起来(数据共享)。
  
• 2）全部权。参考数据和主数据的全部权属于整个组织，而不是属于某个应用系统或部分(全局管理)。
  
• 3）质量。参考数据和主数据须要持续的数据质量监控和管理(监控管理)。
  
• 4）管理职责。业务数据管理专员要对控制和保证参考数据的质量负责。
  
• 5）控制变动。
  
  
  
  • ① 在给定的时间点，主数据值应该代表组织对准确和最新内容的最佳明白。改变数据值的匹配规则，应该在有关监督下审慎地运用。任何合并或拆分参考数据和主数据的操作都应该是可追溯的。
    
  • ②对参考数据的更改应该遵循一个明确的流程：在实施变动之前应该进行沟通并得到批准。
    
  
  
• 6）权限。主数据值应仅从记载系统（System of Record）中复制。为了实现跨组织的主数据共享，可能须要建立一个参考数据管理系统（System of Reference）。
  

3.基本概念

1.主数据和参考数据的区别

  奇泽姆(Malcolm Chisholm)提出了一种六层的数据分类法，包罗元数据、参考数据、企业布局数据、交易布局数据、交易活动数据和交易审计数据。在该分类法中，将主数据界说为参考数据、企业布局数据和交易布局数据的聚合。

• 1）参考数据(Reference Data)。比方，代码表和描述表，仅用于描述组织中的其他数据，大概仅用于将数据库中的数据与组织之外的信息联系起来。
  
• 2）企业布局数据(Enterprise Structure Data)。比方，会计科目表，可以或许按业务职责描述业务活动。
  
• 3）交易布局数据(Transaction Structure Data)。比方，客户标识符，描述了交易过程中必须出现的一些要素(产品、客户、供应商等)。
  

  奇泽姆认为主数据是“以与业务活动相关的通用和抽象概念情势提供业务活动语境的数据，包罗业务交易中涉及的内部和外部对象的具体信息(界说和标识符)，如客户、产品、雇员、供应商和受控域(代码值)”。 大卫·洛辛(David Loshin)认为主数据是组织中差异的应用程序均会使用的核心业务对象, ，以及与它们相关的元数据、属性、界说、脚色、毗连和分类等。
  主数据须要为概念实体（如产品、地点、账户、个人或组织）的每个实例识别和开辟可信的实例版本，并维护该版本的时效性。主数据面临的主要挑战是实体剖析（也称为身份管理，Identity Management）， 它是识别和管理来自差异系统和流程的数据之间的关联的过程。每行主数据表现的实体、实例在差异的系统中有差异的表现方式。主数据管理 工作就是为了消除这些差异，以便在差异环境中一致地识别单个实体、实例（如特定客户、产品等）。
对于参考数据和主数据，管理的重点是差异的：

• 1）参考数据管理（Reference Data Management，RDM）。须要对界说的域值及其界说进行控制。参考数据管理的目的是确保组织可以或许访问每个概念的一整套准确且最新的值。
  
• 2）主数据管理（Master Data Management，MDM）。须要对主数据的值和标识符进行控制，以便可以或许跨系统地、一致地使用核心业务实体中最准确、最及时的数据。
  
• 主数据管理的目的包罗确保当前值的准确性和可用性，同时降低由那些不明确的标识符所引发的相关风险（那些被识别为具有多个实例的实体和那些涉及多个实体的实例）。
  
• 参考数据管理面临的一个挑战是由谁主导或负责参考数据的界说和维护。
  

2.参考数据

  参考数据是指可用于描述或分类其他数据，大概将数据与组织外部的信息联系起来的任何数据。最基本的参考数据由代码和描述构成。参考数据假造地存在于每个数据存储中，可以根据状态或范例进行分类（如订单状态：新订单、处理中的订单、已竣事的订单、已取消的订单），也可以根据其他外部信息（如地理信息或尺度信息）进行分类（如国家代码：DE、US、TR）。
  参考数据常用的存储技能包罗：

• 1）关系数据库中的代码表。通过外键与其他表链接，以保持数据库管理系统中的参照完整性功能。
  
• 2）参考数据管理系统。用于维护业务实体，允许，未来状态、弃用值以及术语映射规则，以支持更广泛的应用和数据整合使用。
  
• 3）用特定于对象属性的元数据指定允许值，重点在于应用程序的调用接口或用户界面访问。
  

  参考数据管理须要控制和维护界说的域值、界说以及域值内和域值间的关系。参考数据管理的目的是确保差异功能之间引用的值是一致的、最新的，并且组织内部均可以访问这些数据。与其他数据一样，参考数据也须要元数据。参考数据的一个紧张元数据属性就包罗其泉源，如行业尺度参考数据的管理机构。
1.参考数据布局

  根据参考数据所代表的粒度和复杂性，可以将其构造为一个简单的列表、一个交叉引用或一个分类。在设计数据库或构建参考数据管理系统时，应该思量使用和维护参考数据的能力。

• 1）列表。最简单的参考数据是由代码值和代码描述构成的列表，见下表。
     代码值描述USUnited States of AmericaGBUnited Kingdom(Great Britain)
  
  
  
  • 与全部的参考数据一样，列表必须满意数据消耗者的需求，包罗对适当的具体水平的要求。扩展列表如下表。
    
     代码描述界说1新建表现一个新的服务菜单已创建, 但未分配职员2已分配表现该服务已分配了服务职员3施工中表现分配的服务职员已经开始处理4已办理表现服务职员已经处理完成5已取消表现该服务根据交互环境已取消6待定表现服务暂时无法处理7已完成表现请求已经处理完成
  
• 2）交叉参考数据列表。差异的应用程序可以使用差异的代码集表现雷同的概念。下面两张表分别展示美国州代码的交叉引用（对在同一级别上事物有多个代码的例子）和 ISO 3166的尺度实例。
     USPS(州代码)ISO(州代码)FIPS(州代码)缩写名称正式名称CAUS-CA06Calif.CaliforniaStates of CaliforniaKYUS-KY21Ky.KentuckyCommonwealth of KentuckyWIWI55Wis.WisconsinStates of Wisconsin   ISO 3166 Alpha 2 国家代码英文名当地名当地语言/当地名法语名…CNChinaZhong Guo中文/中国Chine…
  
• 3）分类法。分类参考数据体系根据差异级别的差异性获取信息。分类法（Taxonomies）使用内容分类和多方位的导航以支持商务智能。分类参考数据可以按递归关系储存。分类法管理工具也可以维护数据层次信息。下表展示层次分类的示例北美产业分类体系。
     代码值描述父代码440000零售业(Retail Trade)440000445000食品饮料商店(Food and Beverage Stores)440000445200专业食品店(Specialty Food Stores)445000445210肉类食品店(Meat Markets)445200445220鱼类和海鲜店(Fish and Seafood Markets)445200445290其他特色食品店(Other Specialty Food Stores)445200445291烘烤店(Baked Goods Stores)445290445292糖果和坚果店(Confectionary and Nut Stores)445290
  
• 
  
  • 本体。一些组织将用于管理网站内容的本体作为参考数据的一部分，这是因为本体模子也被用来描述其他数据或将组织数据与组织边界之外的信息联系起来。
    
  
  

2.专有或内部参考数据

  许多组织通过创建参考数据来支持内部流程和应用，这些专有的参考数据通常会随着时间的推移而快速增长。
3.行业参考数据

  行业参考数据（Industry Reference Data）是一个宽泛的术语，用于描述由行业协会或政府机构而不是由某个组织创建和维护的数据集，以便为编码紧张的概念提供一个通用的尺度。比方，国际疾病分类代码（ICD）提供对健康状况(诊断)和治疗(程序)进行分类，从而在卫生保健和治疗效果方面提供了统一的说明方法。
4.地理或地理统计参考数据

  地理或地理统计参考数据（Geographic or Geo-statistical Reference Data）可根据地理信息进行分类或分析。比方，生齿普查局关于生齿密度和生齿布局变革的报告，为市场规划和研究提供了依据。
5.盘算参考数据

  盘算参考数据(Computational Reference Data)与其他范例数据的主要区别在于其变革的频率。比方: 外汇盘算依靠于精良管理的、及时更新的互换汇率值表。
6.尺度参考数据集的元数据

  和其他数据一样，参考数据也会随着时间的变革而变革。由于它被普遍运用于各种组织中，以是维护参考数据集的关键元数据是非常紧张。下表是参考数据的元数据属性。
参考数据集关键信息描述正式名称官方名称, 特别是参考数据集的外部名称(如ISO 3166-1991国家代码表)内部名称与组织内的数据集相关联的名称(如国家代码 ISO)数据提供者提供和维护参考数据集的一方。可以是外部(ISO)、内部(具体的部分)或外部扩展(外部获取)数据提供者数据集泉源描述数据提供者数据集的泉源。可能是企业网络内外部的通用资源标识符(URL)数据提供者最新版本号如果是可用并且被维护的, 将描述外部数据提供程序数据集的最新版本, 组织可以在该版本中添加或弃用信息数据提供者最新版本日期如果是可用并且并维护的, 将描述标注列表最后更新的日期内部版本号当前参考数据集的版本号或最后更新数据集的版本号内部版本调解日期与外部资源比对并对数据集做出调解的最后日期内部版本最新更新日期数据集的最后变动日期, 这里指的是不是与外部资源对比后做出的改动 3.主数据

  主数据是有关业务实体(如雇员、客户、产品、金融布局、资产和位置等)的数据，这些实体为业务交易和分析提供了语境信息。实体是客观世界的对象(人、组织、地方或事物等)。实体被实体、实例以数据/记载的方式表现。主数据应该代表与关键业务实体有关的权威的、最准确的数据。
  业务规则通常规定了主数据格式和允许的取值范围。一样平常组织的主数据包罗下列事物的数据：

• 1）参与方。个人和组织，以及他们扮演的脚色，如客户、公民、病人、厂商、供应商、代理商、贸易伙伴、竞争者、雇员或学生等。
  
• 2）产品和服务，包罗内部和外部的产品及服务。
  
• 3）财务体系。如条约、总账、成本中央、利润中央。
  
• 4）位置信息。如地址和GPS坐标。
  

1.记载系统，参考系统

• 记载系统（System of Record）是一个权威的系统，它通过使用一套界说好的规则和预期（如ERP系统可以是记载贩卖客户的记载系统）来创建、获取并维护数据。
  
• 参考系统（System of Reference）也是一个权威系统，数据消耗者可以从参考系统中获得可靠的数据来支持交易和分析，即使这些信息并非起源于参考系统。
  
• 主数据管理应用（MDM）、数据共享中央（Data Sharing Hubs，DSH）和数据堆栈（DW）通常会被用作参考系统。
  

2.可信泉源，黄金记载

• 可信泉源（Trusted Source）被认为是“事实的最佳版本”, 是基于自动规则和数据内容的手动管理的结合, 也可以称为一种单一视图、360度视图。
  
• 在可信泉源中，表现一个实体、实例的最准确数据的记载可以被称为黄金记载（Golden Record）。技能目的将黄金记载界说为“事实的单一版本”，此中“事实”是指数据用户希望在确保他们拥有精确版本的信息时就可以把它们作为查阅的参考资料。
  
• 可信泉源提供了由数据管理专员标识和界说的对业务实体的多角度描述。
  

3.主数据管理

• 主数据管理只有做到对主数据值和标识符的控制，才能保证在系统间实现对核心业务实体最准确、最及时的数据的一致使用。
  
• 主数据管理的目的包罗确保准确的、最新的值的可用性，同时降低不明确标识符的风险。
  
• 主数据是由标识符和扩展属性构成的一个一致且统一的集合，它描述了企业的核心实体，包罗客户、潜在客户、企业公民、供应商、位置、层次布局和会计科目等。
  
• 主数据管理是一个由人、流程和技能构成的知识领域，并不是一个特定的应用程序办理方案。
  
• 评估一个组织的主数据管理环境，须要识别以下几点：
  
  
  
  • 1）哪些脚色、组织、地点和事物被反复引用。
    
  • 2）哪些数据被用来描述人、组织、地点和事物。
    
  • 3）数据是怎样被界说和设计的，以及数据粒度细化水平怎样。
    
  • 4）数据在那边被创建或泉源于那边，在那边被储存、提供和访问。
    
  • 5）数据通过组织内的系统时是怎样变革的。
    
  • 6）谁使用这些数据，为了什么目的。
    
  • 7）用什么尺度来衡量数据及其泉源的质量和可靠性
    
  
  
• 在一个域内规划主数据管理包罗以下几个基本步骤：
  
  
  
  • 1）识别能提供主数据实体全面视图的候选数据源。
    
  • 2）为精确匹配和合并实体、实例制定规则。
    
  • 3）建立识别和规复未适当匹配或合并的数据的方法。
    
  • 4）建立将可信数据分发到整个企业的系统中的方法。
    
  
  
• 主数据管理是一个全生命周期的管理过程。全生命周期中的关键活动包罗：
  
  
  
  • 1）建立主数据实体的上下文，包罗相关属性的界说及其使用条件，并加以管理。
    
  • 2）识别出在单个数据源内以及多个数据源中代表同一实体的多个实例；构建并维护标识符和交叉引用，以支持信息整合。
    
  • 3）协调和整合差异泉源的数据，以提供主记载或事实的最佳版本。合并记载提供了跨系统的信息合并视图，并试图办理属性定名和数据值不一致的题目。
    
  • 4）识别出那些未被精确匹配或合并的实例，确保它们得到修正， 并关联到精确的标识符。
    
  • 5）通过直接存取、使用数据服务，或通过复制反馈到交易系统、 数据堆栈或其他分析性数据存储系统，实现对可信数据的跨程序访问。
    
  • 6）在组织内强制使用主数据。这个过程还需数据管理和变动管理的支持，以确保共享的企业视角。
    
  
  

4.主数据管理的关键处理步骤

  主数据管理的关键处理步骤如图所示，包罗数据模子管理、数据采集、数据验证、尺度化和数据丰富、实体剖析、管理和共享。在一个全面的主数据管理环境中，逻辑数据模子会在多个平台上进行物理实例化，它指导主数据管明白决方案的实施，并提供数据整合服务的基础。

• 1）数据模子管理。对于主数据来说，在企业级使用的术语和界说应该与整个组织所进行的业务相关联，而不必依靠于源系统贡献的数据值。对于构成主数据的属性，界说的粒度和相关数据值的粒度在整个组织中也必须有意义。差异系统中的差异定名的多个属性, 要在模子中合并为单一属性。
  
• 2）数据采集。从规划、评估和合并新的数据源到确定主数据管明白决方案，必须是一个可靠的、可重复的过程。数据采集活动包罗：
  
  
  
  • ①接收并应对新的数据源采集的要求。
    
  • ②使用数据清理和数据分析工具进行快速、即时、匹配和高级的数据质量评估。
    
  • ③评估数据并将数据整合的复杂性传递给请求者，以资助他们进行成本效益分析。
    
  • ④试点数据采集及其对匹配规则的影响。
    
  • ⑤为新数据源确定数据质量指标。
    
  • ⑥确定由谁负责监控和维护新数据源数据的质量。
    
  • ⑦完成与整体数据管理环境的集成。
    
  
  
• 3）数据验证、尺度化和数据丰富。要实现实体的剖析，数据必须尽可能保持一致。预备过程如下:
  
  
  
  • ①验证。识别那些被证明是错误的或可能是不精确或默认的数据（如删除明显的假电子邮件地址）。
    
  • ②尺度化。确保数据内容符合尺度参考数据值（如国家代码）、标 准的格式（如电话号码）或字段（如地址）。
    
  • ③数据丰富。添加可以改进实体剖析服务的属性（如关联公司记载 中的邓白氏公司的邓氏编码DUNS与通用公司的终极编码Ultimate DUNS）、个人记载中的Acxiom或Experian消耗者编码）。
    
  
  
• 
  
  • 实体剖析和标识符管理。实体剖析(Entity Resolution)是确定两个对现实世界对象的引用到底是指同一对象还是差异对象的过程。实体剖析是一个决策过程, 包罗一系列活动(实例提取、实例预备、实例剖析、身份 管理、关系分析)。在实例剖析过程中，通过一个判定是否的过程，两个实例可能会被认定为是代表同一实体。
    
     
  
  
  
  • ①匹配（Matching）。匹配或候选识别是识别差异记载怎样与单个实体相关联的过程。这个过程的风险是：
    
    
    
    • a）假阳性（False Positives）。不代表同一实体的两个对象被关联在一个标识符下。假阳性导致一个标识符指向多个现实世界的实体实例。
      
    • b）假阴性（False Negatives）。代表同一实体的两个对象没有关联 在一个标识符下。假阴性导致多个标识符指向同一个现实世界的实体，但一个实体本应该有且只有一个标识符。
      
    • 假阳性和假阴性均可通过相似性分析或匹配的过程来处理, 处理方法有:a）确定式算法; b）或然式算法。
      
    
    
  • ②身份剖析。一些匹配采用多个字段实现精确数据匹配，故可信度很高；另一些匹配则由于数值冲突而缺少可信度。
    
  • ③匹配流程/协调范例。差异场景的匹配规则须要差异的工作流程： a）重复标识匹配规则（Duplicate Identification Match Rules）。重点关注一组特定的数据元素，这些元素可以或许唯一地标识实体，识别合并 机会而不采取自动合并操作。b）匹配链接规则（Match-link Rules）。标识可能与主记载相关的记载，只建立交叉引用关系而不更新这些被交叉引用的记载的内容。c）匹配合并规则（Match-merge Rules）。重点关注记载的匹配， 并将这些记载中的数据合并为单一、统一、协调且全面的记载。匹配合并规则如此复杂，目的就是希望在多个记载和数据源中提供统一的、协调的信息版本。
    
  • ④主数据ID管理。管理主数据涉及管理标识符。在主数据管理环境中，有两种范例的标识符须要跨数据源管理：全局标识符（Global ID）、交叉引用（X-Ref）信息。 全局标识符是主数据管明白决方案分配和维护的唯一标识符，它会被附加到协调记载中，其目的是可以或许唯一地标识一个实体实例。交叉引用管理（X-Ref Management）是对源ID和全局标识符之间关系的管理。
    
  • ⑤附属关系管理。附属关系管理负责建立和维护具有现实世界关系的实体主数据记载之间的关系。主数据管明白决方案的数据架构设计，必须确定是否使用给定实体的父子关系、附属关系，还是同时使用两种关系。
    
  
  
• 
  
  • 数据共享和管理责任。在理想环境下，从管理工作过程中吸取的履历教训可以用来改进匹配算法并减少人工工作。
    
  
  

5.参与方主数据

  参与方主数据（Party Master Data）是关于个人、组织以及他们在业务关系中所扮演脚色的数据。eg: 在贸易环境中，各类参与方包罗客户、雇员、供应商、合作伙伴和竞争对手等。在教诲系统，重点是学生和西席。无论什么行业，管理业务参与方主数据均面临一定的挑战：

• 1）个人和组织扮演的脚色和他们之间关系的复杂性。
  
• 2）唯一标识的困难。
  
• 3）数据源的数量和它们之间的差异。
  
• 4）多个移动通讯信道和交际渠道。
  
• 5）数据的紧张性。
  
• 6）客户想要怎样参与的期望。
  

6.财务主数据

  财务主数据（Financial Master Data）包罗有关业务部分、成本中央、利润中央、总账账户、预算、筹划和项目的数据。通常，ERP系统充当财务主数据（会计科目）的中央枢纽，项目的细节和交易信息是在一个或多个应用程序中被创建和维护的。财务主数据管明白决方案不仅包罗创建、维护和共享信息，还可以模拟现有财务数据的变革怎样影响公司的基线。
7.法律主数据

  法律主数据（Legal Master Data）包罗关于条约、法规和其他法律事务的数据。
8.产品主数据

  产品主数据（Product Master Data）专注于组织的内部产品和服务，或全行业的产品和服务（包罗竞争对手）。差异范例的产品主数据办理方案支持差异的业务功能。

• 1）产品生命周期管理（PLM） 系统侧重于从构想、开辟、制造、贩卖、交付、服务和废弃等方面管理产品或服务的生命周期。
  
• 2）产品数据管理（PDM） 系统通过捕获和实现对设计文档（如CAD图样）、配方（制造说明书）、尺度操作程序和物料清单（BOM）等产品信息的安全共享，以支持工程和制造功能。
  
• 3）企业资源规划（ERP） 系统的产品数据主要关注库存单位。
  
• 4）制造执行系统（MES） 中的产品数据主要关注原材料库存、半成品和成品。
  
• 
  
  • 客户关系管理（CRM） 系统支持营销、贩卖和交互支持。
    
  
  

9.位置主数据

  位置主数据（Location Master Data）提供跟踪和共享地理信息的能力，并根据地理信息创建层次关系或舆图。位置参考数据和位置主数据之间的区别含糊了位置数据。区别主要表如今：

• 1）位置参考数据通常包罗行政区域数据，如国家、州或省、县、市或镇、邮政编码，以及地理位置坐标，如纬度、经度和海拔高度。这部分数据很少修改, 一样平常由外部组织进行维护。
  
• 
  
  • 位置主数据包罗业务方地址和位置，以及组织拥有的装备的地址和位置。这部分数据的更新频率高于位置参考数据。
    
  
  

10.行业主数据—参考目次

  参考目次是主数据实体（公司、职员、产品等）的权威清单，组织可以购买和使用主数据实体作为交易的基础。参考目次是由外部组织创建, 但是管理是在本身的系统中进行维护。获得正式许可的参考目次例子包罗邓白氏公司（D&B）环球总部、各地子公司、分支机构的公司目次、美国医学协会医生处方数据库等。
4.数据共享架构

  下图中的数据共享中央布局模子展示的就是主数据的星形架构。主数据中央可以处理与分支项目(源系统、业务应用和数据存储等)的交互, 同时将交互量降到最低。

实现主数据中央环境的三种基本方法:

• 1）注册表（Registry）。注册表是指向多种记载系统（System of Record）中主数据记载的索引。
  
• 2）交易中央（Transaction Hub）。主数据存在于交易中央内，而不存在于任何其他的应用程序中。交易中央是主数据的记载系统。
  
• 3）混合模式（Consolidated）。混合模式是注册表和交易中央的混合体。记载系统管理应用程序当地的主数据。主数据在一个公共存储库 中被合并，并经过数据共享中央实现共享，如此消除了从记载系统直接进行访问的须要。
  

2.活动

2.1 主数据管理活动

• 1.识别驱动因素和需求
  
  
  
  • 驱动因素通常包罗改善客户服务和/或运营效率，以及减少与隐私和法律法规有关的风险。
    
  • 根据改进发起的成本/收益以及主数据主题域的相对复杂性等因素，对主数据工作进行优先级排序。
    
  
  
• 2.评估和评价数据源
  
  
  
  • 评估数据源的目的之一是根据构成主数据的属性来了解数据的完整性。
    
  • 评估数据源的另一目的是了解数据的质量。
    
  
  
• 3.界说架构方法
  
  
  
  • 主数据管理的架构方法取决于业务战略、现有数据源平台以及数据本身，特别是数据的血缘和颠簸性以及高延迟或低延迟的影响。
    
  
  
• 4.建模主数据
  
  
  
  • 主数据管理是一个数据整合的过程。
    
  
  
• 5.界说管理职责和维护过程
  
  
  
  • 主数据管理过程须要修复遗失的记载, 须要改进数据遗失的流程。
    
  
  
• 6.建立管理制度，推动主数据使用
  
  
  
  • 主数据管理工作必须要有一个门路图。
    
  
  

2.2 参考数据管理活动

• 1.界说驱动因素和需求
  
  
  
  • 参考数据管理的主要驱动因素是运行效率和更高的数据质量。
    
  
  
• 2.评估数据源
  
• 3.界说架构方法
  
• 4.建模参考数据
  
• 5.界说管理职责和维护流程
  
• 6.建立参考数据管理制度
  

3.工具和方法

  主数据管理可以通过数据整合工具、数据修复工具、操作型数据存储(ODS)、数据共享中央(DSH)或专门的主数据管理应用来实现。
4.实施指南

  主数据和参考数据管理是数据整合的一种方式。用于数据集成和互操作领域的实施原则，也可以应用到主数据和参考数据管理中。数据管理的专业职员必须了解主数据管理和参考数据管理的挑战，并评估组织的成熟度和适应能力。
4.1 遵循主数据架构

  建立和遵循适当的参考体系架构，对于管理和共享跨组织的主数据至关紧张。整合方法应思量企业组织架构、记载系统的数量、数据管理实施、数据访问延迟的紧张性以及消耗系统和应用程序的数量。
4.2 监测数据流动

  当数据在参考数据或主数据共享环境中流动时，应监控相关数据流，以便实现以下目的：

• 1）显示数据怎样在整个组织中共享和使用。
  
• 2）在管理系统和应用程序中识别数据的血缘关系。
  
• 3）辅助进行题目根本原因的分析。
  
• 4）展示数据整合和消耗整合技能的有用性。
  
• 5）通过数据消耗展示源系统的数据值延迟。
  
• 6）确定在集成组件中执行的业务规则和转换的有用性。
  

4.3 管理参考数据变动

  参考数据变动请求应该遵循既定流程，如图所示。收到请求时，应通知各利益相关方，以便评估影响。如果更改须要审批，则应进行讨论以通过审批。变动完成后，须要通知各利益相关方。

4.4 数据共享协议

  为了确保适当的访问和使用，应建立共享协议，规定哪些数据可以共享，以及在何种条件下可以共享。数据共享环境的负责职员有义务向下游数据消耗者提供高质量的数据, 高质量的数据依靠于上游系统。对于数据质量的评估应当建立服务水平协议（SLA）和指标。
4.5 组织和文化变革

  进步参考数据和主数据的可用性及质量无疑须要对传统做法做出修改，研究和实施办理方案之前应该思量当前的组织预备环境、组织未来的任务和愿景的须要。
5.参考数据和主数据管理

5.1 管理过程决定事项

  管理过程应决定如下事项：

• 1）要整合的数据源。
  
• 2）要落实的数据质量规则。
  
• 3）遵守使用规则的条件。
  
• 4）要监控的举措和监控频率。
  
• 5）优先级和数据工作响应等级。
  
• 6）怎样展示信息以满意利益相关方的需求。
  
• 7）参考数据管理和主数据管理摆设的尺度授权扎口和预期。
  

  管理过程带来了与合规和法律相关的利益相关方及信息消耗者，通过界说把他们纳入隐私、安全和数据保留制度中，以减轻组织的风险。
5.2 度量指标

• 1）数据质量和服从性。数据质量仪表板可以描述参考数据和主数据的质量。(衡量主题域实体或相关属性的置信度以及可用性)
  
• 2）数据变动活动。审核可信数据的血缘对于进步数据共享环境中的数据质量是须要的(明白数据提供的系统)。
  
• 3）数据获取和消耗。数据由上游系统供应，由下游系统和流程使用。
  
• 4）服务水平协议（SLA）。应建立SLA并转达给贡献者和订阅者，以确保整个数据共享环境的使用和采用。(支撑题目的解释)
  
• 5）数据管理专员覆盖率。这些指标应该关注对数据内容负责的个人或团队，并展示覆盖率的评估频率。(识别支持的差距)
  
• 6）拥有总成本。这个指标有多种影响因素、多种表达方式。
  
• 7）数据共享量和使用环境。须要跟踪纳入主数据的数据量和使用环境，以确定数据共享环境的有用性。
  

6.总结

• 主数据管理常见业务驱动因素： 1）满意组织数据需求。共同数据集的完整、最新、一致的。2） 管理数据质量。管控至关紧张实体的数据质量。3）管理数据集成的成本。4）降低风险。【满意需求、管控质量、管控成本、降低风险】
  
• 参考数据管理的驱动因素： 1）通过使用一致的参考数据，满意多个项目的数据需求，降低数据整合的风险和成本。2）提升参考数据的质量。【降本、提质】
  
• 目的：1）确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据。2）促使企业在各业务单元和各应用系统之间共享参考数据和主数据。3）通过采用尺度的、通用的数据模子和整合模式，降低数据使用和数据整合的成本及复杂性。【促一致。促共享。控成本】
  
• 指导原则：1）共享数据。 为能共享必须管理起来。2）全部权。 全部权属于整个组织，须要全局的组织管理。3）质量。 须要持续的监控和管理。4）管理职责。 业务数据管理专员要对质量负责。5）控制变动。 ①在给定的时间点，主数据值应代表最佳明白。改变数据值的匹配规则有监督。合并或拆分可追溯的。②对参考数据的更改应遵循明确流程：在实施变动之前应得到批准。6）权限。 主数据值应仅从记载系统中复制。为实现跨组织的共享，需建立参考数据管理系统。
  
• 奇泽姆（Malcolm Chisholm）的六层的数据分类法：元数据、参考数据、企业布局数据、交易布局数据、交易活动数据和交易审计数据。将主数据界说为参考数据、企业布局数据和交易布局数据的聚合。主数据是“以与业务活动相关的通用和抽象概念情势提供业务活动语境的数据，包罗业务交易中涉及的内部和外部对象的具体信息（界说和标识符），如客户、产品、雇员、供应商和受控域（代码值）”。主数据面临的主要挑战是实体剖析。
  
• 参考数据和主数据管理的重点差异：
  
  
  
  • 1）参考数据管理（Reference Data Management，RDM）。 须要对界说的域值及其界说进行制。目的是确保组织能访问每个概念的一整套准确且值是最新。
    
  • 2）主数据管理（Master Data Management，MDM）。须要对主数据的值和标识符进行控制，以便可以或许跨系统地、一致地使用核心业务实体中最准确、最及时的数据。
    
  • 主数据管理的目的包罗确保当前值的准确性和可用性，同时降低由那些不明确的标识符所引发的相关风险。
    
  • 参考数据管理面临的别一个挑战是由谁主导或负责参考数据的界说和维护。
    
  
  
• 参考数据：指可用于描述或分类其他数据，大概将数据与组织外部的信息联系起来的任何数据。最基本的参考数据由代码和描述构成，还可能包含映射和层次布局。
  
• 参考数据布局。
  
  
  
  • 1）列表。最简单的参考数据是由代码值和代码描述构成的列表。
    
  • 2）交叉参考数据列表。
    
  • 3）分类法。
    
  • 4）本体。一些组织将用于管理网站内容的本体作为参考数据的一部分，本体模子也可以明白为是元数据的一种情势。
    
  
  
• 参考数据范例:
  
  
  
  • （1）专有或内部参考数据。
    
  • （2）行业参考数据。
    
  • （3）地理或地理统计参考数据。
    
  • （4）盘算参考数据。
    
  • （5）尺度参考数据集的元数据。
    
  
  
• 参考数据常见的存储方式：1）关系数据库中的代码表。通过外键与保持参照完整性。2）参考数据管理系统。支持更广泛的应用和数据整合使用。3）用特定于对象属性的元数据指定允许 值，重点在于应用程序的调用接口或用户界面访问。【马欢再解读：第一种是系统中存储一个 代码表，第二种是独立的一个存储各类参考数据的系统，第三种是直接在相关的属性上的罗列值】
  
• 主数据是有关业务实体的数据。实体是客观世界的对象（人、组织、地方或事物等）。主数据应代表与关键业务实体有关的权威的、最准确的数据。一样平常组织的主数据包罗：参与方、产品和服务、财务体系、位置信息。
  
• 主数据：
  
  
  
  • （1）记载系统，参考系统。 记载系统是一个权威系统，通过使用一套界说的规则和预期来创建、获取并维护数据。参考系统也是一个权威系统，数据消耗者可以从参考系统中获 得可靠的数据来支持交易和分析。主管理管理应用 MDM、数据共享中央 DSH、数据堆栈 DW 都可以用作参考系统。
    
  • （2）可信泉源，黄金记载。 可信泉源也称为一种单一视图、360 度视图。在可信泉源中，表现一个实体、实体的最准确 数据的记载称为黄金记载。
    
  • （3）主数据管理。 由人、流程和技能构成的知识领域，并不是一个特定的应用程序办理方案。
    
  
  
• 怎样评估主数据管理环境：
  
  
  
  • 1）哪些脚色、组织、地点和事物被反复引用。
    
  • 2）哪些数据被用来描述人、组织、地点和事物。
    
  • 3）数据是怎样被界说和设计的，以及数据粒度细化水平怎样。
    
  • 4） 数据在那边被创建或泉源于那边，在那边被储存、提供和访问。
    
  • 5）数据通过组织内的系统时是 怎样变革的。
    
  • 6）谁使用这些数据，为了什么目的。
    
  • 7）用什么尺度来衡量数据及其泉源的质量和可靠性。
    
  
  
• 规划主数据管理的基本步骤：1）识别能提供主数据实体全面视图的候选数据源。2）为精确匹配和合并实体、实例制定规则。3）建立识别和规复未适当匹配或合并的数据的方法。4）建立将可信数据分发到整个企业的系统中的方法。
  
• 主数据管理是全生命周期的管理过程，关键活动有：1）建立主数据实体的上下文，包罗相关属性的界说及其使用条件，并加以管理。2）识别出在单个数据源内以及多个数据源中代表同一 实体的多个实例；构建并维护标识符和交叉引用，以支持信息整合。3）协调和整合差异泉源的 数据，以提供主记载或事实的最佳版本。合并记载提供了跨系统的信息合并视图，并试图办理 属性定名和数据值不一致的题目。4）识别出那些未被精确匹配或合并的实例，确保它们得到修 正，并关联到精确的标识符。5）通过直接存取、使用数据服务，或通过复制反馈到交易系统、数据堆栈或其他分析性数据存储系统，实现对可信数据的跨程序访问。6）在组织内强制使用主 数据。这个过程还需数据管理和变动管理的支持，以确保共享的企业视角。【明确主数据实体及界说。识别同一实体的多个实例。提出主数据的最佳版本。修正不精确的实例。实现主数据的跨程序访问。在组织中强制使用主数据。】
  
• 主数据管理的关键处理步骤：数据模子管理。数据采集。数据验证/尺度化和丰富。实体剖析。数据共享和管理工作。
  
  
  
  • 【关键步骤 1】数据模子管理 对于主数据来说，在企业级使用的术语和界说应该与整个组织所进行的业务相关联，而不必依靠于源系统贡献的数据值。
    
  • 【关键步骤 2】数据采集 接受采集请求。快速质量评估。反馈报告资助分析。试点采集。确定质量指标。确定监控和维护职员。完成集成。
    
  • 【关键步骤 3】数据验证、尺度化和数据丰富 实现实体的剖析，数据应尽可能保持一致。
    
  • 【关键步骤 4】实体剖析和标识符管理 实体剖析（Entity Resolution）是确定两个对现实世界对象的引用到底是指同一对象还是差异对象的过程，是决策过程。实体剖析包罗一系列活动：实例提取、实例预备、实例剖析、身份管理、关系分析。
    
  • 【关键步骤 5】数据共享和管理责任工作 有自动化，但人工不可少。
    
  
  
• 参与方主数据： 个人、组织以及他们在业务关系中所扮演脚色的数据。无论什么行业，管理业务参与方主数据均面临一定的挑战：1）个人和组织扮演的脚色和他们之间关系的复杂性。2）唯一标识的困难。3）数据源的数量和它们之间的差异。4）多个移动通讯信道和交际渠道。5）数据的紧张性。6）客户想要怎样参与的期望。
  
• 财务主数据：有关业务部分、成本中央、利润中央、总账账户、预算、筹划和项目的数据。
  
• 法律主数据：条约、法规和其他法律事务的数据。
  
• 产品主数据：专注于组织的内部产品和服务，或全行业的产品和服务（包罗竞争对手）。
  
  
  
  • 1） 产品生命周期管理（PLM） 系统侧重于从构想、开辟、制造、贩卖、交付、服务和废弃等方面管理产品或服务的生命周期。
    
  • 2）产品数据管理（PDM）系统 ：设计文档（如 CAD 图样）、配 方（制造说明书）、尺度操作程序和物料清单（BOM）等产品信息。
    
  • 3）企业资源规划（ERP） 系统的产品数据主要关注库存单位。
    
  • 4）制造执行系统（MES） 中的产品数据主要关注原材料库存、半成品和成品。
    
  • 5）客户关系管理（CRM） 系统支持营销、贩卖和交互支持。
    
  
  
• 位置主数据提供跟踪和共享地理信息的能力。1）位置参考数据通常包罗行政区域数据。2）位置主数据包罗业务方地址和位置，以及组织拥有的装备的地址和位置。
  
• 行业主数据——参考目次：主数据实体（公司、职员、产品等）的权威清单。参考目次是由外部组织创建的，但管理是在组织本身的系统中进行维护的。邓白氏公司（D&B）。
  
• 主数据中央环境的三种基本方法：1）注册表（Registry）2）交易中央（Transaction Hub）3）混合模式（Consolidated）
  
• 主数据管理活动： 1.识别驱动因素和需求。2.评估和评估数据源。3.界说架构方法。4.建模主数据。5.界说管理职责和维护过程。6.建立管理制度，推动主数据使用。
  
• 参考数据管理活动： 1.界说驱动因素和需求。主要是运行效率和更高的数据质量，减少系统不一致的风险。2.评估数据源。3.界说架构方法。4.建模参考数据。5.界说管理职责和维护流程。6. 建立参考数据管理制度。
  
• 监控相关数据流，以便实现以下目的： 1）数据怎样共享和使用。2）识别数据的血缘关系。3）辅助题目追因分析。4）展示数据整合和技能的有用性。5）展示源系统数据值延迟。6）确定在集成组件中执行的业务规则和转换的有用性。
  
• 参考数据修改的范例包罗：1）对外部参考数据集的行级变动。2）外部参考数据集的布局变革。3）对内部参考数据集的行级变动。4）内部参考数据集的布局变革。5）创建新的参考数据集。
  
• 参考数据变动请求流程： 1 接受变动请求。2 确定利益相关方。3 确认影响。4 决策和沟通。5 更新并通知（如果可行）。
  
• 管理过程应决定如下事项：1）要整合的数据源。2）要落实的数据质量规则。3）遵守使用规则的条件。4）要监控的举措和监控频率。5）优先级和数据工作响应等级。6）怎样展示信息以满意利益相关方的需求。7）参考数据管理和主数据管理摆设的尺度授权扎口和预期。
  
• 度量指标：1）数据质量和服从性。数据质量仪表板可以描述参考数据和主数据的质量。2）数据变动活动。审核可信数据的血缘对于进步数据共享环境中的数据质量是须要的。3）数据获取和消耗。4）服务水平协议（SLA）。5）数据管理专员覆盖率。可以用来识别支持方面的差距。 6）拥有总成本。可以包罗环境基础设施、软件许可证、支持职员、咨询费、培训等。7）数据 共享量和使用环境。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。