一 数据管理

概述

数据管理与其他类型的资产管理有相似之处。该过程需要了解公司所持有的数据并确定其潜在用途，然后设计最有效的策略来利用数据资产实现组织目标。与其他管理程序类似，必须在战略和运营要求之间取得平衡。通过遵守一系列承认数据管理重要方面的原则和数据管理程序，可以实现最佳平衡。

原则

·数据资产属性：数据被视为一种宝贵资产，但它具有显著影响其管理的独特特征。数据的一个突出特征是，它不会随着使用而耗尽，这与金融和实物资产不同。

·数据价值：将数据视为资产意味着它具有内在价值。虽然有方法可以评估数据的定性和定量价值，但目前缺乏为此目的而建立的标准。为了增强围绕数据的决策能力，组织应该建立标准化的方法来量化其价值。评估与数据质量差相关的费用以及拥有高质量数据的优势非常重要。

·数据质量：数据管理的基本目标是确保数据适合其预期用途。为了有效地管理质量，公司必须确保他们清楚了解利益相关者设定的质量标准，然后根据这些需求评估数据。

·元数据：元数据是指用于管理和使用数据的信息。了解数据的性质和用途需要获取元数据，因为数据是无形的，无法物理地掌握或保存。元数据来自与数据生成、处理和使用相关的几个过程。这些活动包括架构、建模、管理、治理、数据质量管理、系统开发、IT 和业务运营以及分析。

·数据管理计划：即使是小公司也可能拥有复杂的技术和业务流程环境。数据在多个位置生成，然后传输到其他位置以供使用。有效地组织任务并确保最终结果同步需要从架构和流程的角度进行战略规划。

·技能和专业知识：单个团队不可能处理企业内部的所有数据。熟练的数据管理需要结合技术和非技术能力，以及有效合作的能力。

·企业视角：数据管理在本地层面有特定的用途，但为了实现最大效益，必须在整个公司范围内实施。出于同样的原因，数据管理和数据治理是相互关联的。

·数据责任：数据是动态的。数据管理必须不断适应不断变化的数据创建和使用方法，以及依赖数据的数据消费者。

·数据生命周期：数据具有独特的生命周期，有效地管理数据需要管理其生命周期。由于数据的积累，数据生命周期可能变得非常复杂。有效的数据管理技术必须考虑整个数据生命周期。不同类型的数据表现出不同的生命周期特征，因此具有不同的管理先决条件。数据管理方法必须承认这些区别，并具有满足不同数据生命周期需求的适应性。

·与数据相关的风险：数据不仅是一种资产，而且对公司也构成危险。数据容易丢失、被盗或被滥用。组织必须仔细考虑使用数据的道德影响。在数据的整个生命周期中，解决和控制与数据相关的风险至关重要。

·推动 IT 决策：数据及其管理与信息技术和信息技术管理密切相关。有效的数据管理需要制定一项战略，该战略优先考虑使用技术来满足组织的战略数据需求，而不是让技术决定这些需求。

·领导承诺：数据管理包含一系列复杂的程序，需要协调、团队合作和奉献才能实现最佳结果。要达到目标，不仅需要管理能力，还需要领导的远见和决心。

二 数据生命周期、数据类型、数据策略和数据管理框架

数据生命周期

为了高效处理数据资源，公司必须全面了解数据生命周期并制定战略。高效的数据管理涉及战略规划和对公司打算如何使用数据的清晰理解。公司战略将为其数据内容和数据管理需求建立明确的规范。这些包括使用、卓越、法规和保护的准则和要求；架构和规划的综合战略；以及基础设施和软件创建的长期方法。

数据生命周期包括生成或获取数据所涉及的过程，以及移动、转换、存储、维护、共享、使用和处置数据所涉及的过程。数据在其生命周期内经历多个过程，包括清理、转换、合并、增强和聚合。数据的使用或改进经常会导致新数据的生成，从而导致生命周期内的内部循环，这些循环未在图中显示。数据很少是一成不变的。数据管理包括一系列与数据生命周期一致的相互关联的过程。

数据生命周期管理

·创建和使用：有效的数据管理需要全面掌握数据生产或获取的过程以及使用方式。数据生产会产生财务费用。数据的价值只有在使用或付诸实践时才会实现。

·数据质量管理：数据质量管理是数据管理的核心。质量较差的数据会产生费用并带来风险，而不是带来好处。企业经常难以管理数据质量，因为数据通常是在操作过程中生成的，而且企业往往无法建立明确的质量标准。鉴于许多生命周期事件可能会影响数据质量，因此有必要将质量规划作为数据生命周期的一个组成部分。

·元数据质量：鉴于元数据是一种数据，并且公司依赖它来处理其他数据，因此以与其他数据相同的方式维护元数据的质量至关重要。

·数据安全：数据管理包括保护数据和尽量减少与之相关的潜在危险的任务。敏感数据在其存在的每个阶段都需要保护，从开始到消除。

·关键数据：组织生成大量数据，其中很大一部分未被使用。试图监督每个单独的数据点是无法实现的。生命周期管理需要优先考虑组织最重要的数据并减少数据 ROT（冗余、过时、琐碎数据）的存在。

不同类型的数据

由于存在多种数据类型，每种数据类型对生命周期管理的需求各不相同，因此数据管理变得更加复杂。数据可以根据其类型（例如交易数据、参考数据、主数据或元数据）进行分类，也可以根据其内容（例如数据域或主题域）进行分类，也可以根据其格式进行分类，还可以根据数据所需的安全程度进行分类。数据还可以根据其存储和检索所使用的方法和位置进行分类。

由于组织内部不同类型的数据的需求、危害和责任各不相同，许多数据管理技术主要集中于分类和控制。

风险

数据不仅具有内在价值，也蕴含着潜在风险。质量低下的数据（不准确、不完整或过时）本身就具有危险性，因为它具有错误性。然而，数据具有固有的风险，因为它有可能被误解和利用。

组织可以从质量最高的数据中获得最大收益，这些数据具有可用性、相关性、完整性、准确性、一致性、及时性、可用性、意义和可理解性等属性。然而，当涉及到重大选择时，我们的知识往往存在差距——我们目前所知道的知识与做出成功决策所需的知识之间存在差距。信息差距是公司内部的弱点，可能会对其高效运营和盈利能力产生重大负面影响。认识到有价值数据重要性的组织可能会实施具体而积极的措施，以提高数据和信息的质量和实用性，同时遵守监管和道德准则。

信息作为众多行业的宝贵资源，其重要性日益增加，使得监管机构和立法者更加关注信息可能被使用和滥用的方式。

数据策略

数据策略应包括利用信息获得竞争优势并与组织目标保持一致的战略策略。数据策略的制定应基于对业务计划中固有的数据要求的全面理解。这包括确定公司所需的特定数据、确定获取数据的方法、建立管理和维护其可靠性的协议以及制定有效使用数据的策略。

核心内容

· 一个引人入胜的数据管理视角。

· 简明的商业案例概述了数据管理的重要性，并附有具体示例。

· 核心信念、道德理想和管理观点。

· 数据管理的目标和总体目标。

· 提出了评估数据管理有效性的指标。

· 短期（12-24 个月）数据管理计划的目标应该是 SMART，这意味着它们应该具体、可衡量、可操作、现实且有时间限制。

本文档对数据管理职位和相应的组织进行了详细的说明，并简要概述了他们的职责和决策权限。

· 解释数据管理计划的诸多要素和努力。

· 制定一个有组织、有排序、具有明确界限的任务计划。

· 制定包含具体项目和可执行任务的初步实施计划。

交付成果

·章程：数据管理的关键组成部分是总体愿景、业务案例、目标、指导原则、成功衡量标准、关键成功因素、已知风险和运营模式。

·范围说明：目标是在特定的规划期内设定的，通常是三年，实现这些目标的责任在于所涉及的角色、组织和个人领导者。

·路线图：识别不同的计划、项目、任务分配和交付里程碑。

数据管理框架

数据管理包含一系列相互关联的功能，每个功能都有自己独特的目标、任务和义务。数据管理专业人员必须考虑从抽象的企业资产中提取价值的固有挑战。他们还必须平衡战略和运营目标、特定的业务和技术要求、风险和合规义务以及对数据含义和质量的相互矛盾的解释。

在不同抽象层次上创建的框架提供了关于如何处理数据管理的各种观点。这些观点提供了宝贵的理解，可用于解释战略、制定路线图、组织团队和同步功能。

战略一致性模型

战略一致性模型 (SAM) 由 Henderson 和 Venkatraman 于 1999 年开发，提供了一个概念框架，用于识别影响数据管理策略的关键因素。

本主题的核心是数据和信息之间的联系。信息主要与企业战略和数据的实际使用相关。数据与信息技术和程序相关，这些信息技术和程序有助于系统的物理管理，使数据易于访问和使用。包含这一思想的战略决策的四个核心领域是：业务战略、信息技术战略、组织基础设施和流程以及信息技术基础设施和程序。

阿姆斯特丹信息模型

阿姆斯特丹信息模型 (AIM) 与战略协调模型类似，采用战略方法协调业务与 IT 之间的协调（Abcouwer、Maes 和 Truijens，1997 年）。9 单元模型的特点是承认中间层强调架构和策略，包括规划和架构等活动。此外，它还承认信息传输的重要性。

SAM 和 AIM 框架的架构师都对组件之间的互连进行了全面的解释，包括水平方面（业务/IT 战略）和垂直方面（业务战略/业务运营）。

三 DAMA - DMBOK 框架

DAMA-DMBOK框架

DAMA-DMBOK 框架提供了构成整个数据管理领域的知识领域的详细信息。以下三张图片说明了 DAMA 的数据管理框架：

· DAMA车轮图。

· 环境因素六边形。

· 知识领域背景。

DAMA 车轮图

DAMA车轮图概述了与数据管理相关的特定知识领域。数据治理被定位为数据管理操作的焦点，因为它必须确保许多角色之间的一致性和平衡性。其他知识领域，如数据架构和数据建模，均匀分布在轮子周围。所有这些组件对于全面开发的数据管理系统都是必不可少的；然而，它们的实施可能会因组织的需求而异。

环境因素六边形

环境因素六边形说明了人员、流程和技术之间的相互联系，可作为解释 DMBOK 环境图的指南。目标和原则按优先顺序排列，以便为如何开展活动和有效使用成功数据管理所需的工具提供指导。

知识领域背景图

知识领域是指某个知识领域或领域。上下文图提供了知识领域的全面概述，包括有关人员、流程和技术的信息。它们源自 SIPOC 图的概念，该图通常用于产品管理中以表示供应商、输入、流程、输出和消费者。上下文图优先考虑行动，因为它们提供的结果符合利益相关者的标准。

语境关系图的组成元素包括：

定义

本节对知识领域进行了简洁的定义。

目标

知识领域的目标定义了其目的并提供了管理该领域内活动执行的基本规则。

活动

活动是指为实现知识领域的目标而必须开展的具体活动和任务。活动可按子活动、任务和阶段划分。活动分为四个不同的阶段：规划、控制、开发和运营。

（P）规划活动

规划活动为实现数据管理目标提供了战略和战术方向。活动是定期规划的。

（C）控制活动

实施控制活动是为了维持数据的持续质量并保护用于访问和处理数据的系统的完整性、可靠性和安全性。

（四）开发活动

开发活动根据系统开发生命周期 (SDLC) 进行构建，其中包括分析、设计、构建、测试、实施和部署阶段。

（O）运营活动

运营活动促进了数据检索和利用系统和程序的使用、维护和改进。

输入

输入是指每个知识领域开始其活动所必需的具体要素。几个任务需要相同的输入。例如，相当多的任务需要对商业战略有先决条件的理解。

交付成果

可交付成果是指知识领域内执行的操作的具体结果。它们是每个功能负责创建的实际产品。可交付成果可以作为最终结果，也可以用作后续任务的输入。不同的功能会产生几个主要结果。

角色和职责

角色和职责概述了人员和团队为知识领域内的活动做出贡献的具体方式。角色描述以概念性的方式呈现，重点强调大多数公司都需要的角色分组。个人的角色是根据他们的才能和资格确定的。信息时代的技能框架 (SFIA) 用于促进职位头衔的协调。几个职位将需要不同技能和职责的组合。

供应商

供应商是负责提供或协助提供各种活动资源的个人或实体。

參與者

参与者是参与、监督或授权知识领域内活动的人。

消费者

消费者是数据管理运营所产生的主要输出成果的直接受益者。

工具

工具是指有助于实现知识领域目标的众多应用程序和技术。

技术

技术是指在知识领域内开展活动并产生成果所使用的具体技术和流程。技术包括广泛接受的实践、推荐的准则、既定的标准和协议，以及（如果相关）新兴的替代方法。

指标

指标是指用于衡量或评估绩效、进度、质量、效率或其他成果的既定标准。指标部分概述了每个知识领域内执行的任务的可量化方面。指标还可以量化无形属性，例如增强或价值。

艾肯金字塔

Peter Aiken 的框架利用数据管理知识体系 (DMBOK) 功能域来描述许多企业遇到的情况。公司可以使用它建立一条清晰的路径，以实现拥有可靠数据和高效运营以支持关键业务目标的状态。在努力实现这一目标时，许多企业遵循类似的逻辑程序顺序。

阶段1

公司购买了一款包含数据库功能的应用程序。这意味着公司已经为数据建模、设计、数据存储和数据安全建立了基础，例如向某些人授予访问权限，同时限制其他人的访问权限。集成并确保系统与用户环境和数据之间的兼容性需要付出努力。

阶段2

开始使用该程序时，用户会遇到与数据完整性相关的困难。然而，实现卓越的数据质量依赖于可靠的元数据和统一的数据架构。这些阐明了来自不同系统的数据之间的相互作用。

第 3 阶段

有效管理数据质量、元数据和架构需要实施严格的程序，这可以通过实施数据治理来实现，数据治理为数据管理操作提供结构支持。数据治理有助于实施战略项目，例如文档和内容管理、参考数据管理、主数据管理、数据仓库和商业智能，从而有效地在黄金金字塔内实现先进的实践。

第四阶段

该公司利用处理良好的数据的优势并提高其分析能力。

艾肯金字塔融合了 DAMA 轮，同时通过展示知识领域之间的相互联系来增强其功能。并非所有知识领域都可以互换使用；它们表现出不同类型的相互依赖性。

艾肯金字塔描绘了企业向增强数据管理方法迈进的进程。理解 DAMA 知识领域的另一种方法是研究它们之间的相互关系。

四 数据管理 - DAMA DMBOK 的演变和功能

DAMA 功能区域依赖关系

DAMA 功能区由 Sue Geuens 开发，它承认商业智能和分析功能依赖于数据管理的所有其他任务。

它直接依赖于主数据和数据仓库提供的解决方案。然而，在为系统和应用程序提供数据时，它们相互依赖。可靠的系统和应用程序建立在一系列原则的基础上，包括数据设计、数据互操作性和尽可能可靠的数据质量。此外，数据治理（包括元数据管理、数据安全、数据架构和参考数据管理）是所有其他活动的基础。这个基础对于模型的成功至关重要。

DAMA 数据管理功能框架

数据管理功能框架利用架构的思想，在DAMA知识领域之间建立一系列的联系，并针对特定知识领域的内容提供进一步的信息，以加深对这些联系的理解。

该框架从数据管理的总体目标开始：帮助企业从其数据资产中提取价值，类似于从其他资产中获取价值。

该框架从数据管理的主要目标开始：帮助企业从数据资产中获取价值，就像他们从其他资产中获益一样。要获得价值，就必须管理数据的整个生命周期。因此，该图将与数据生命周期相关的数据管理功能置于中心位置。这些任务包括制定策略和结构以确保可靠和优质的数据，建立程序和系统以允许和维持数据使用，以及利用各种形式的分析来提高数据的价值。

生命周期管理部分说明了必要的数据管理设计和操作功能（例如建模、架构、存储和操作），以促进传统数据应用，包括商业智能、文档管理和内容管理。它还承认与大数据存储相关的数据管理职责的重要性日益增加，这对于开发数据科学和预测分析等应用程序至关重要。如果有效地将数据视为资产，企业就有可能通过将其出售给其他组织来从中获得直接价值，这种做法称为数据货币化。

与通过基础和监督操作促进数据生命周期的组织相比，仅优先考虑直接生命周期任务的组织不会从其数据中获得那么多价值。数据风险管理、元数据和数据质量管理等核心操作涵盖整个数据生命周期。它们提供改进的设计选择并增强数据的可用性。当这些任务有效执行时，维护数据的成本会降低，数据消费者对数据的信任度会更高，使用数据的可能性也会增加。

许多企业使用数据治理作为有效支持数据生成和利用以及保证基本任务按纪律执行的手段。数据治理是一个关键角色，它使组织能够根据数据做出明智的决策。它涉及制定战略并实施原则、规则和实践，以确保企业识别并利用机会从其数据中获取价值。数据治理角色还应参与组织变革管理工作，以指导公司并促进促进战略性使用数据的行为。因此，在数据治理职责的所有方面，文化转变是必不可少的，尤其是在公司推进其数据管理程序时。

DAMA 车轮的演变

DAMA 数据管理框架可以被看作是 DAMA Wheel 的进步，其中包括生命周期和消费活动的中央操作，所有这些都受严格的规则管辖。

该框架围绕元数据管理、数据质量管理和数据结构开发（架构）等核心任务展开。

生命周期管理活动可分为两个角度：规划和支持。规划角度包括风险管理、建模、数据设计和参考数据管理等活动。另一方面，支持角度涉及主数据管理、数据技术开发、数据集成和互操作性、数据仓库以及数据存储和操作等活动。

用途源自管理数据生命周期所涉及的操作。这些包括使用主数据、文档和内容管理、商业智能、数据科学、预测分析和数据可视化。这些方法中的几种通过改进或产生对现有数据的新理解来生成更多数据。数据货币化机会可以被视为数据可以使用的多种方式。数据治理活动包括对数据的监督和控制，通过实施战略、原则、政策和管理来实现。数据分类和数据评估有助于建立一致性。

DAMA DMBOK 知识领域

DMBOK 是基于 DAMA-DMBOK 数据管理框架的 11 个知识领域而组织的，通常被称为 DAMA 轮。知识领域定义了数据管理任务集合的范围和情况。知识领域包括数据管理的基本目标和概念。由于数据在整个组织中水平移动，知识领域中的活动彼此相连，并与公司内的其他部门相连。

1.数据治理：数据治理负责为数据管理提供指导和监督。它通过开发一个考虑到整个组织要求的数据决策权结构来实现这一点。

2.数据架构：数据架构是制定组织和管理数据资产计划的过程。它涉及与公司的整体战略保持一致，并创建符合组织特定数据需求的设计。

3.数据建模和设计：数据建模和设计是指以称为数据模型的精确格式识别、检查、说明和传达数据需求的系统过程。

4.数据存储和运营：数据存储和运营包括设计、实施和为存储数据提供支持以优化其价值的过程。运营为整个数据生命周期提供帮助，包括从数据规划到数据处置等活动。

5.数据安全：数据安全包括用于维护数据隐私和机密性、防止未经授权的数据访问以及保证可接受的数据使用措施。

6.数据集成和互操作性：数据集成和互操作性包括与数据存储库、软件应用程序和实体内部和跨数据存储库、软件应用程序和实体传输和合并相关的程序。

7. 文档和内容管理：文档和内容管理涵盖对各种非结构化媒体中包含的数据和信息的整个生命周期进行监督的战略组织、执行和监督任务，特别关注满足法律和法规合规义务所必需的文件。

8.参考和主数据：参考和主数据是比较和更新核心关键共享数据的持续过程，以确保在各个系统中始终使用最正确、最新和最相关的重要业务实体版本。

9.数据仓库和商业智能：数据仓库和商业智能包括有效管理决策支持数据所涉及的战略和运营活动。这些活动包括设计、实施和控制程序，使知识工作者能够通过分析和报告从数据中提取有价值的见解。

10.元数据：元数据包括规划、实施和控制等活动，以便提供对高级、统一元数据的访问。这包括定义、模型、数据流和其他理解数据及其创建、维护和检索系统所需的重要信息。

11.数据质量：数据质量涵盖使用质量管理方法评估、分析和增强数据适合组织目的的战略和运营活动。

DAMA DMBOK 定义的其他知识领域包括：

·数据处理伦理：数据处理伦理强调数据伦理在做出明智和对社会负责的数据及其使用选择方面的重要性。数据管理专业人员应高度重视数据收集、分析和使用的伦理考量。

·大数据与数据科学：大数据与数据科学是指随着收集和分析广泛多样的数据集的能力不断扩展而出现的技术和商业流程。

·数据管理成熟度评估：数据管理成熟度评估提供了一种评估和提高组织数据管理能力的方法。

·数据管理和角色期望： “数据管理组织和角色期望”提供了在构建数据管理团队和实施有效的数据管理程序时需要考虑的指南和因素。

数据管理和组织变革管理：数据管理和组织变革管理提供了有关如何从战略上准备和引导将高效的数据管理技术整合到组织中所需的文化变革的指导。