您现在的位置:e-works > 百味书屋 > 书籍列表 > 商业智能深入浅出——Cognos,Informatica技术与应用 > 数据仓库开发过程介绍

第三章 商业智能数据仓库的理论知识

第四节 数据仓库开发过程介绍

    数据仓库开发应用过程主要包括以下几个方面:规划分析阶段、设计实现阶段、使用维护阶段。

    3.4.1  规划分析阶段

    首先,确定数据仓库项目的开发目标。从用户角度分析,给用户提供哪些决策分析内容和功能。从技术角度分析,在划分的各个主题中需要哪些业务数据源,确定使用哪种ETL工具去抽取数据,使用什么工具构建数据模型,确定数据仓库的实现范围,然后制订数据仓库项目目标和工程计划。

    其次,对实施数据仓库项目开发的所有预算进行有效估计,编写详细的开发说明书,说明该数据仓库系统对企业发展的作用。内容包括对工作任务概况的说明、重点支持该项目的业务部门和设计开发的工作计划等。

    再次,开展概念模型设计工作。内容主要包括用户需求调研、模型的定义和需求分析等内容。先明确用户的需求;然后在理解用户需求的基础上,进行数据仓库概念模型的设计,还包括撰写详细的用户需求分析调查表和针对概念模型的评审报告。

    最后,在概念模型的基础上进行逻辑模型的分析和设计。内容包括:所要分析的主题域有哪些,主题域中包含的主题和实体有哪些,实体粒度层级的定义等内容。除此之外,还需要撰写逻辑模型的评审报告和定义数据仓库的抽取流程。

    3.4.2  设计实现阶段

    设计阶段主要包括商业智能项目体系结构的设计。在设计阶段主要包括数据模型的设计,元数据的设计,ETL 数据抽取、转换、加载的设计,报表展现设计等内容。其中元数据包括业务元数据和技术元数据,它们之间的具体区别在后续内容中详细介绍。在实现阶段,需要确定数据仓库系统选择了哪些业务数据源,实现从源系统中抽取数据、清洗数据、装载数据的设计和编码过程,使用报表展现工具开发报表。在设计和开发阶段选定建模工具,为数据仓库填充测试数据,一般来说,测试数据需要选择3年或者3年以上的测试数据,例如选择2006~2009年的数据。商业智能项目体系结构如图 3-9所示。

  商业智能项目体系结构

图3-9  商业智能项目体系结构

    3.4.3  使用维护阶段

    使用阶段包含的内容有:针对用户的培训,使用户明白数据仓库的工作原理,通过实际操作使用户清楚如何使用数据仓库,数据仓库可以实现哪些功能等。而数据仓库运维内容主要包括:

    (1)备份与恢复

    数据仓库数据的定期备份与恢复是数据仓库项目一个必不可少的运维步骤。这是为了保证用户使用的同时,也对数据仓库中的数据进行妥善处理,以应对将来历史数据的增加和数据仓库规模的扩大。

    (2)数据归档

    在数据仓库项目中,数据归档也是一个非常重要的运维步骤。历史数据大量的增加使数据仓库需要增加额外的存储设备来存储这些数据,这也产生了额外的开销。如何将这些海量的、历史细节性的数据有效地管理起来,是数据仓库运维过程中最重要的组成部分。因为数据量的不断增加,数据仓库对这些数据不断地进行备份,不仅增加了系统的复杂度,也严重影响了系统的性能。正因为如此,数据仓库需要将历史细节性数据归档到离线的存储设备上,从而降低运维的难度。

    (3)性能管理与监控

    同备份与恢复、数据归档相比,系统监控过程更加复杂化。系统监控包括对数据库的监控和对业务系统的监控。数据库的监控可以帮助系统管理员对数据库系统进行必要的优化,以满足未来日益增加的海量数据容量需求和对性能的要求。对业务系统的监控是为了保证数据仓库系统的正常运行。性能是数据仓库项目必须要考虑的问题,由于数据量巨大,在设计过程中每个步骤都需要考虑系统性能的问题,包括对数据库的各种优化。性能管理主要包括:用户针对业务系统响应的时间,文件传输的时间、数据备份和恢复的时间、ETL的时间和报表展示的时间等方面。

    (4)用户培训

    培训的目的是让用户对数据仓库系统的结构、功能和操作流程有一个比较清晰的认识,用户能够依靠培训手册学会基本的操作和了解该系统提供的各种功能。在进行用户培训之前,需要详细地列出培训的计划和方案,例如列出本次培训的目的、时间、日程和内容安排,培训的人员等内容。 

    使用维护阶段如图3-10所示。

 使用维护阶段

图3-10  使用维护阶段

    总结:数据仓库的开发周期可以划分成规划分析阶段、设计实现阶段以及使用维护阶段。这3个阶段是不断循环和完善的过程,经过多次循环设计、开发和改进,不断为系统增加新的功能,使数据仓库系统的应用得到进一步的加强,同时为了保证数据仓库系统开发的有效进行,用户需要在关键步骤中投入更多的资源。数据仓库系统开发与应用的过程如图3-11所示。

 数据仓库系统开发与应用的过程

图3-11  数据仓库系统开发与应用的过程