第一十四章 应用举例

第三节 营销系统设计

    14.3.1  总体架构设计
 
    营销辅助决策系统架构设计如图14-10所示。
 
图14-10  营销辅助决策系统架构设计
 
图14-10  营销辅助决策系统架构设计
 
    (1)应用架构
 
    应用架构是指业务数据和业务系统之间的关系。本书重点描述的是数据仓库的应用,所以业务应用系统的设计不属于本书范围。
 
    (2)数据仓库-数据访问架构
 
    数据仓库-数据访问架构是指数据仓库在运行时的各个流程和状态,主要包括ODS、数据仓库、数据集市、商业智能数据分析应用,如图14-11所示。
 
    (3)运维管理
 
    运维管理主要包括数据的备份与恢复、系统的监控、性能的管理等内容。
 
图14-11   数据仓库-数据访问架构图
 
图14-11   数据仓库-数据访问架构图
 
    14.3.2  营销辅助决策系统的ETL架构设计
 
    ETL架构设计主要包括抽取、清洗、转换、加载4个部分,如图14-12所示。
 
图14-12  ETL架构设计图
 
图14-12  ETL架构设计图
 
    其中抽取主要负责将营销辅助决策系统的业务源数据提取到数据仓库中,业务源数据可以是关系型数据库,也可以是各种文件,例如xml文件、Excel文件、文本文件等。因为不同业务源数据的数据质量可能各不相同,所以每个数据源的抽取方式也有所不同,它们都需要建立各自独立的抽取程序,然后通过通用的接口将源数据抽取到清洗步骤中去。
 
    抽取步骤主要包括对数据适配器的支持,使得抽取程序可以与多种业务数据源相连接。一般来说,源数据适配器包含对JDBC、ODBC、XML等方式的支持,为两端的数据交换提供最基本的条件。
 
    清洗步骤主要是针对数据仓库要求的数据质量标准,对营销数据进行清洗的过程。对营销数据清洗的方法可以有两类。
 
    1)专用的清洗程序,目的是针对不同的业务系统有不同的清洗程序。
 
    2)通用的清洗程序,如果每个业务源系统的清洗规则相同,可以使用自定义的通用函数来满足各个业务源系统的清洗程序。清洗工作的主要任务是对业务源数据的解析、数据标准化和数据合并的过程。
 
    转换步骤主要负责在业务源数据加载到数据仓库之前的最后一次修改。许多聚合的操作和对指标的计算都在这一步骤中完成。
 
    加载步骤是将营销业务源数据加载到目标数据结构中。这些目标数据结构可以是事实表,也可以是维度表,这是ETL过程的最后一步。
 
    14.3.3  营销辅助决策系统数据访问功能设计
 
    数据访问功能主要包括:报表展示功能、即席查询功能、联机分析处理功能、预测分析功能,如图14-13所示。
 
图14-13 数据访问功能
 
图14-13 数据访问功能
 
    报表展示功能一般从数据仓库或者数据集市中读取数据,用以实现自定义或者预定义的展示功能。使用报表展示功能的用户一般都是企业的高层领导人员、数据分析人员、业务人员等。
 
    即席查询功能是对相关业务准实时性的查询。一般此功能是提供给高级数据分析人员使用的。
 
    联机分析处理(OLAP)功能是通过对营销辅助决策系统业务数据的多维分析和各种图表的展示,以实现业务数据的分析功能。
 
    预测分析功能是通过数据挖掘等统计分析技术,利用数据源中有价值的数据建立起来的信息系统,为用户提供了预测与分析的功能,这也体现了商业智能的价值。
 
    14.3.4  营销辅助决策系统展示方式设计
 
    (1)雷达图
 
    雷达图主要用于表示当前经营绩效明细情况。该图显示了各组数据值偏离数据原点的距离,如图14-14所示。
 
    (2)柱形图
 
    柱形图主要用于表示当前经营绩效明细情况。该图显示了不同月份、不同数据项之间的比较,如图14-15所示。
 
图14-14  雷达图
 
图14-14  雷达图
 
图14-15  柱形图
 
图14-15  柱形图
 
    (3)折线图
 
    折线图主要用于表示当前经营绩效明细情况的数据变化趋势,如图14-16所示。
 
    (4)饼形图
 
    饼形图主要用于显示当前经营绩效明细情况的数据相对于总数值的大小和所占比重,如图14-17所示。
 
图14-16  折线图
 
图14-16  折线图
 
图14-17  饼形图
 
图14-17  饼形图
 
    (5)面积图   
 
    面积图主要用于显示当前经营绩效明细情况的每一数值所占大小,随时间或者其他类别而变化的曲线,如图14-18所示。
 
    (6)条形图
 
    条形图主要用于显示当前经营绩效明细情况数据间的比较,数据平行的演示,如图14-19所示。
 
图14-18  面积图
 
图14-18  面积图
 
图14-19  条形图
 
图14-19  条形图
 
    14.3.5  营销辅助决策系统主题分析功能设计
 
    下面举例如下:
 
    销售分析是指在指定时间范围内,分析市场占有率、费用、利润、销售额等指标,其主要分析内容如下:
 
    (1)不同地区销售情况分析与预测
 
    按照相同时间范围内、不同的地区范围去分析市场占有率、费用、利润、销售额的统计分析和同期对比分析。
 
    (2)不同产品类型销售情况分析与预测
 
    按照相同时间范围内、不同的产品类型去分析市场占有率、费用、利润、销售额的统计分析和同期对比分析。
 
    14.3.6  数据模型设计
 
    1.企业模型和企业数据模型的定义和关系
 
    企业模型主要描述的是企业结构和企业业务活动;而企业数据模型是对企业业务活动的抽象,通过数据建模的方法描述企业业务的主要活动和各种经营过程。企业数据模型是在企业模型的基础上建立起来的,主要用于支持辅助决策系统中ODS模型、数据仓库模型、数据集市模型的建设,是企业信息化的基础。
 
    2.企业数据模型建设的意义和内容
 
    企业数据模型建设的意义有以下几个方面,如图14-20所示。
 
    1)企业数据模型的建设有利于定义企业业务活动和经营过程中遇到的基本概念和主要内容,是企业信息化建设的第一步。
 
    2)企业数据模型的建设有利于将业务数据转化成有价值的信息和知识。
 
    3)企业数据模型的建设是构建ODS模型、数据仓库模型、数据集市模型的基础。
 
    4)企业数据模型的建设是企业管理者、业务人员和设计开发人员沟通的基础,有利于提高辅助决策系统开发的效率。
 
    企业数据模型的内容主要分为:概念模型设计、逻辑模型设计、物理模型设计。
 
    (1)概念模型设计
 
    1)企业数据概念模型设计主要包括主题域的设计、主题与实体的设计。一般情况下,主题域包含一个或者多个主题,每个主题的最小单位就是实体。例如在图14-21中,销售分析主题域包含地区销售情况分析与预测主题,该主题又包含销售人员实体。
 
图14-20  企业数据模型建设的意义
 
图14-20  企业数据模型建设的意义
 
图14-21  企业数据概念模型设计举例
 
图14-21  企业数据概念模型设计举例
 
    2)概念模型建设的依据:包含企业模型、现有的应用系统和其他领域的经验,如图14-22所示。
 
    3)概念模型建设的步骤:通过分析业务系统的主要数据,结合业务之间的关系列出详细的数据主题,在此基础上,根据数据主题之间的逻辑关系,将其划分到各自所属的数据主题域中,最后形成企业级主题域概念模型。概念模型建设的步骤如图14-23所示。
  
图14-22  概念模型建设的依据
 
图14-22  概念模型建设的依据
 
图14-23  概念模型建设的步骤
 
图14-23  概念模型建设的步骤  
 
    下面以营销系统为例进行介绍。根据营销系统业务和经营活动的特点,列出下面的部分数据主题,见表14-6。
 
表14-6  营销系统的数据主题
 
表14-6  营销系统的数据主题
 
    根据数据主题之间的逻辑关系,可以划分成以下几个数据主题域:人员主题域、产品主题域和市场主题域,见表14-7。
 
表14-7  营销系统的数据主题域
 
表14-7  营销系统的数据主题域
 
    下面以人员主题域为例进行介绍。人员主题域包含教育背景信息、人员职务信息、人员工作业绩信息、人员社会保险信息、人员社会关系信息,如图14-24所示。
 
    (2)逻辑模型设计
 
    逻辑数据模型是对概念模型的分解和细化,主要描述了实体、属性、实体和实体之间的关系等内容。实体通常是企业经营活动中的一个事件、一个概念、一个日常的业务活动或者是一个参与者。属性是描述实体相关特性和定义的信息。关系是描述实体和实体之间的业务规则或者关联关系。下面以部分营销系统逻辑模型为例,描述逻辑数据模型的特点。例如在图14-25中,用户基本信息包含购买商品价格信息、用户地址信息、用户应收费用和用户账单信息。
 
图14-24  人员主题域
 
图14-24  人员主题域
 
图14-25  逻辑模型设计
 
图14-25  逻辑模型设计
 
    (3)物理模型设计
 
    物理数据模型主要描述了模型实体数据存储方面的内容。在设计的时候,需要考虑数据的类型、长度和索引结构。除此之外,还需要考虑数据存储的性能问题和数据库产品的特点。下面以部分营销系统物理模型为例,描述物理模型的特点。例如在图14-26中,营销系统包含用户信息表、职务类型编码表、商品类型编码表、用户地址编码表。
 
    3.企业数据模型与其他模型的关系
 
    企业数据模型是从企业的整体角度来描述企业的信息化建设,是构建ODS数据模型、数据仓库数据模型、数据集市数据模型的基础。
 
    企业数据模型与其他模型的关系如图14-27所示。
 
    4.ODS数据模型建设
 
    ODS统一信息视图区的概念模型是依据企业数据模型构建的,它是按照主题进行规划组织的,一般来说,都是最近时间的或者实时的数据存储,使用户能够快速查询数据。ODS统一信息视图区需要满足两个条件:一是满足各个部门和组织对数据共享的要求,二是满足实时性获取数据的要求。
 
图14-26  物理模型设计
 
图14-26  物理模型设计
 
图14-27  企业数据模型与其他模型的关系
 
图14-27  企业数据模型与其他模型的关系
 
    ODS逻辑模型设计是针对逻辑层进行设计,主要包括逻辑结构的设计、存储周期的设计和存储粒度的设计。
 
    1)ODS逻辑结构设计主要包括:实体和实体属性的定义、实体和实体之间关系的定义。
 
    2)存储周期的设计主要是针对数据存储期限的定义。一般来说,在ODS存储区中只保存最新的数据,并且不断删除旧数据。
 
    3)存储粒度的设计主要是对数据细节程度大小的定义,粒度的大小直接决定了数据量的大小和查询的灵活性,是逻辑设计中重点要解决的一个问题。
 
    ODS逻辑模型设计的一般步骤如图14-28所示。
 
图14-28 ODS逻辑模型设计的一般步骤
 
图14-28 ODS逻辑模型设计的一般步骤
 
    1)根据业务系统的调研结果,划分ODS的主题。设计人员需要参考业务系统的原模型,根据需求调研的结果划定主要的数据主题范围,在数据主题的基础上进行各个主题的定义。
 
    2)在主题定义完成之后,开始进行实体、实体属性、实体和实体之间关系、数据的存储粒度和存储周期的定义。在此基础上,需要保证所有实体的唯一性。
 
    3)形成ODS逻辑结构说明书。根据以上的步骤,在ODS逻辑结构说明书中对业务需求、数据主题的范围、主题的定义、实体、实体的属性、实体和实体之间的关系进行详细的说明和解释。
 
    ODS逻辑模型设计的原则如下:
 
    1)以营销系统为例,凡是涉及营销系统使用其他系统的数据,都应该将该系统的实体放入ODS逻辑模型中。例如,营销系统使用人力资源系统和商品交易系统作为稳定的数据源,则将人力资源和商品交易系统的实体放入到营销辅助决策系统的ODS逻辑模型中。反之,如果人力资源系统和商品交易系统都使用营销系统作为稳定的数据源,则不需要将人力资源和商品交易系统的实体放入营销辅助决策系统的ODS逻辑模型中。
 
    2)外部业务系统的基础数据一般不放入ODS逻辑模型中。例如,其他商品的生产信息作为生产系统的基础数据,但是不放入营销系统的ODS逻辑模型中。
 
    3)营销辅助决策系统涉及的各个主题域中共享的编码实体,一般都放入ODS逻辑模型中。例如,营销辅助决策系统中的商品类型编码实体放入ODS逻辑模型中,如图14-29所示。
 
图14-29 放入ODS逻辑模型中的编码实体
 
图14-29 放入ODS逻辑模型中的编码实体
 
    ODS逻辑模型设计的原则如图14-30所示。
 
图14-30  ODS逻辑模型设计的原则
 
图14-30  ODS逻辑模型设计的原则
 
    ODS物理模型设计主要是针对ODS数据模型的物理实现进行设计,主要包括数据的存储结构、索引方式等内容。
 
    ODS物理模型设计的步骤如下:
 
    1)确定数据的存储结构。
 
    2)确定数据的抽取频率,数据量的大小和响应时间,这些信息是优化的重要依据。
 
    3)确定数据优化的方式:例如索引策略、分区。
 
    5.数据仓库数据模型建设
 
    数据仓库概念模型的主要功能就是确定用户决策分析涉及的所有问题和信息。例如,在进行销售情况分析时,可以根据销售的时间、地区范围、产品类型等分析各个指标。数据仓库模型可以分成企业的核心历史数据区域和轻度汇总数据区域两个部分。其中,企业的核心历史数据区域主要包括主题域、主题、实体,以及实体与实体之间的关系,同时为了实现历史数据的保存,每个实体需要有一个时间戳。轻度汇总数据区域是根据决策分析的需求,制定相应的汇总策略,以满足用户的需要。
 
    数据仓库逻辑模型主要是针对逻辑层进行设计,主要包括主题域设计、主题设计等内容。
 
    数据仓库逻辑模型设计的主要工作有:
 
    1)确定主题域和每个主题域有哪些主题。
 
    2)确定粒度的层次划分。
 
    3)确定数据的存储周期。
 
    部分营销系统数据仓库逻辑模型实例如图14-31所示。
 
图14-31  数据仓库逻辑模型实例
 
图14-31  数据仓库逻辑模型实例
 
    数据仓库物理模型设计主要是针对数据仓库的物理层进行设计,主要包括数据的存储结构、索引方式等内容。数据仓库物理模型设计的步骤与ODS物理模型的设计步骤是完全相同的,在此不再赘述。但是需要强调的是,因为数据仓库的数据量一般是巨大的,并且数据仓库中的数据一般是不更新的,所以可以采用复杂的索引策略,以获得最优的数据存储和查询效率,并且降低了维护索引的难度。部分营销系统数据仓库物理模型实例如图14-32所示。
 
图14-32  数据仓库物理模型实例
 
图14-32  数据仓库物理模型实例
 
    6.数据集市数据模型建设
 
    数据集市概念模型是根据业务需求建立起来的,它可以包含两部分内容:综合类的分析查询和专业性的分析查询。其中综合类的分析查询是根据企业的整体环境,包括企业的总体战略方针和指导思想,对企业的主要指标进行综合分析和预测。专业性的分析查询是根据不同的部门和组织机构对他们各自所关心的指标进行分析和查询。通常数据集市的数据来源是数据仓库中的历史数据或者轻度汇总数据。
 
    通过对企业的需求调研,分析已有的业务报表系统和企业的战略分析目标,设计出相应的数据集市模型,见表14-8。
 
表14-8  对企业的需求调研
 
表14-8  对企业的需求调研
 
    数据集市模型如图14-33所示。
 
    数据集市逻辑模型主要是针对逻辑层进行设计,主要包括维表的设计、事实表的设计等内容。
 
图14-33  数据集市模型
 
图14-33  数据集市模型
 
    数据集市的主要工作有:
 
    1)分析当前的主题域,确定主题域下面有哪些主题。
 
    2)确定粒度的层次。
 
    3)确定事实表中有哪些指标。
 
    4)确定事实表中关联哪些维度。
 
    5)确定数据集市的关系模式,例如是雪花型模式还是星型模式。
 
    维表设计见表14-9~表14-12。
 
表14-9  时间维表
 
表14-9  时间维表
 
表14-10  产品类型维表
 
表14-10  产品类型维表
 
表14-11  地区维表
 
表14-11  地区维表
 
表14-12  销售情况事实表
 
表14-12  销售情况事实表
 
    数据集市物理模型设计主要是针对数据集市的物理层进行设计,主要包括数据的存储结构、索引方式等内容。数据集市的物理模型设计步骤与数据仓库物理模型的设计步骤是完全相同的,在此不再赘述。但是需要强调的是,数据集市的数据量相对较大,并且数据集市中的数据一般是不更新的,所以可以采用复杂的索引策略,以获得最优的数据存储和查询效率,并且降低了维护索引的难度。
 
    数据集市物理模型实例如图14-34所示。
 
图14-34  数据集市物理模型实例
 
图14-34  数据集市物理模型实例