第一十二章 数据抽取、转换和加载

第六节 ETL的备份与恢复

    12.6.1  数据的备份

    1.ODS 数据的备份

    默认ODS采用的是Oracle数据库,它的备份设计如下:

    1)可以采用全量备份的形式,使用Oracle的导出工具,全库导出数据进行备份。备份的周期可以根据需要灵活变动,一般是每周进行一次备份,保留一个月左右的备份数据。

    2)可以采用增量备份的形式,导出Oracle的日志增量文件进行备份。通常需要保留近两个月的备份数据。

    2.数据仓库的数据备份

    默认数据仓库采用的是Oracle数据库,它的备份设计如下:

    1)可以采用全量备份的形式,使用Oracle的导出工具,全库导出数据进行备份。由于数据仓库数据量巨大,可以2~3周进行一次全量备份,通常保存一个月左右的备份数据。

    2)可以采用增量备份的形式,导出Oracle的日志增量文件进行备份。通常保存近两个月的备份数据。

    3.数据集市的数据备份

    默认数据集市的数据存放到Oracle数据库中,多维数据采用Cognos OLAP 技术。

    1)对于数据集市数据可以采用全量备份的形式,使用Oracle的导出工具,全库导出数据进行备份。通常保存一个月左右的备份数据。如果采用增量备份的形式,导出Oracle的日志增量文件进行备份,通常保存近两个月的备份数据。

    2)因为Cognos OLAP模型存放在固定路径文件夹下,并没有太多的数据量,每天进行全量备份即可。

    12.6.2  数据备份存放的介质以及目录结构

    1)ODS 数据全量可以备份到磁带库或者是RAID阵列介质上,然后在介质上建立两个文件夹,例如/back/ods/beifen1、/back/ods/beifen2,保留两次最近的全量备份。

    2)ODS 数据增量可以备份到RAID阵列介质上,然后在介质上建立文件夹,例如/back/ods/ increment,将增量文件保存到该目录下。

    3)数据仓库数据全量可以备份到磁带库或者是RAID阵列介质上,然后在介质上建立两个文件夹,例如/back/dw/beifen1、/back/dw/beifen2,保留两次最近的全量备份。

    4)数据仓库数据增量可以备份到RAID阵列介质上,然后在介质上建立文件夹,例如/back/dw/ increment,将增量文件保存到该目录下。

    5)数据集市数据全量可以备份到磁带库或者是RAID阵列介质上,然后在介质上建立两个文件夹,例如/back/dm/beifen1、/back/dm/beifen2,保留两次最近的全量备份。

    6)数据集市数据增量可以备份到RAID阵列介质上,然后在介质上建立文件夹,例如/back/dm/ increment,将增量文件保存到该目录下。

    7)多维OLAP模型可以存储到RAID阵列介质上,建立多个文件夹以保存最近的备份。

    8)知识库(含Cognos知识库、ETL知识库、应用程序知识库)可以备份到RAID阵列介质上。一般采取的方式是全量备份,将不同的知识库保存到不同的目录下。

    12.6.3  ETL程序的备份

    默认ETL工具是PowerCenter,ETL程序的备份包括开发人员编写的程序代码(包括从业务系统到ODS数据缓冲区的ETL程序,从ODS数据缓冲区到ODS统一信息视图区的ETL程序,从ODS统一信息视图区到数据仓库的ETL程序,从数据仓库到数据集市的ETL程序),各种参数的配置,ETL工具的软件等。

    12.6.4  数据的恢复方案

    (1)操作系统的恢复(见图12-36)

 图12-36  操作系统的恢复

图12-36  操作系统的恢复

    (2)ODS 数据的恢复(见图12-37)

ODS数据的恢复方法(一)

a)ODS数据的恢复方法(一) 

ODS数据的恢复方法(二)
b)ODS数据的恢复方法(二)

图12-37  ODS数据的恢复

    (3)数据仓库和数据集市的恢复(见图12-38)

 a) 数据仓库和数据集市的恢复方法一

a) 数据仓库和数据集市的恢复方法一

 b)数据仓库和数据集市的恢复方法二

b)数据仓库和数据集市的恢复方法二

图12-38  数据仓库和数据集市的恢复

(4)知识库的恢复(见图12-39)

 图12-39  知识库的恢复

图12-39  知识库的恢复

    (5)Cognos OLAP 模型和运行程序、运行数据的恢复(见图12-40)

 图12-40  Cognos OLAP 模型和运行程序、运行数据的恢复

图12-40  Cognos OLAP 模型和运行程序、运行数据的恢复