信息系统运行管理员教程5--信息系统数据资源维护
第五章 信息系统数据资源维护
第1节 信息系统数据资源维护体系
信息系统数据资源的维护包括建立数据运行与维护相关的管理制度，规范运行与维护业务流程，有效开展运行监控与维护、故障的诊断和排除、数据的备份和恢复、数据的归档和检索等，保障数据资源处于高可用状态，使信息系统可持续稳定高效地运行。
1.数据资源维护的管理对象
信息系统数据资源维护对象包括数据文件、数据管理系统和存储介质。
2.数据资源维护的管理类型
数据资源的维护工作主要包括运行监控、故障响应和数据优化3类。
运行监控： 运行监控指数据维护人员进行周期性、预定义的维护活动，及时获取数据资源状态，包括实时监控、预防性检查和常规作业。
数据的预防性检查包括数据完整性检查、数据冗余检查及数据脆弱性检查。
故障响应： 故障响应是系统维护管理人员针对服务请求或故障申报而进行的响应性支持服务。分为事件驱动响应、服务请求响应和应急响应。
事件驱动响应：由于不可测的原因导致服务对象整体或部分功能丧失、性能下降、触发将服务对象恢复到正常状态的服务活动。
服务请求响应：由于需方提出各类服务请求引发的，需要针对服务对象、服务等级做出调整或修改的响应型服务。
应急响应：当发生重大事件、重大自然灾害，或由于政府发出行政命令，或需方提出要求时，应当启用应急处理程序。
数据备份： 对数据产生、存储、备份、分发、销毁等过程进行的操作，或对数据的应用范围、应用权限、数据优化、数据安全等内容按事先规定的程序进行的例行性作业，如数据备份、数据恢复、数据转换、数据分发、数据清洗等。
归档检索： 根据需求对归档的数据进行查找的工作，它是开展提供利用工作的基本手段，是开发规定数据资源的必要条件。
数据优化： 数据优化是系统维护人员通过优化改进，达到提高设备性能或管理能力的目的。
3.数据资源维护的管理内容
数据资源维护管理包括：
维护方案： 根据信息系统的应用需求、可能产生的破坏程度、经济损失、社会影响程度，划分应急处理等级和响应时间，并制定数据运行与维护总体方案。
例行管理： 对数据资源载体（存储介质）和传输、转储的设备进行有效管理，对历史数据进行定期归档。
应急响应： 制定应急故障处理预案，设立应急故障处理小组，确定详细的故障处理步骤和方法；制定灾难恢复技术，进行灾难演练，以防备系统崩溃和数据丢失；灾难发生后，应急故障处理小组能及时采取措施实现数据保护及系统的快速还原与恢复。
数据资源的开发与利用： 对数据资源进行整理和分析，采用知识发现工具有目的地挖掘数据，可以从中获取新的信息或知识。
第2节 信息系统数据资源例行管理
数据资源例行管理是一种预防性的维护工作，它是在系统正常运行过程中，定期采取一定的监控、检测与保养工作，及时发现并消除系统运行缺陷或隐患，使系统能够长期安全、稳定、可靠地运行。
1.数据资源例行管理计划
例行管理计划中需李处监控监测的对象、重要性等级以及常规操作方法，监控检测的频次或周期、正常状态值和报警阙值等。
| 序号 | 管理任务 | 操作内容 | 重要性 | 检测时间 |
|---|---|---|---|---|
| 1 | 数据库检查 | 检查并记录数据库增长情况，检查数据库是否有死锁现象 | 重要 | |
| 2 | 数据备份 | 检查备份内容的正确性，检查是否会出现数据备份失败的现象，是否存在大数据量备份记录条数丢失的现象 | 重要 | |
| 3 | 数据恢复 | 检查是否会出现数据备份恢复失败的现象，检查在各个数据库中小数位长度不一致的现象 | 重要 | |
2.数据资源载体的管理
存储数据资源的介质必须具有明确的标识；标识必须使用统一的命名规范，注明介质编号、备份内容、备份日期、备份时间、启用日期和保留期限等重要信息。存储介质的管理包括借用、转储、销毁等环节。
存储介质借用管理： 存储介质借用流程
填写介质使用申请书、负责人审批、填写介质借用登记表、领用介质、使用介质、归还介质、填写归还介质登记表。
存储介质转储管理： 存储介质转储流程
填写介质转储申请书、负责人审批、原始介质准备、依照操作手册进行转储、记录转储日志、提交备份管理人员存档、填写介质存储登记表。
存储介质销毁管理： 存储介质销毁流程
填写介质销毁申请书、负责人审批、原始介质准备、数据销毁、提交相关部门物理销毁、填写介质销毁登记表。
3.数据库例行维护
数据库文件是存储数据资源的重要形式，目前常用的数据库管理系统有SQL Server、Oracle、Informix、Sybase等。
数据库例行维护一般包括：健康检查、数据库监测管理、数据库备份与恢复、数据库性能优化。
健康检查：
数据库日志检查：在数据库系统中，对数据的任何更新操作，都要把相关操作的命令、执行时间、数据的更新等信息保存下来，这些被保存的信息就是数据库日志，即数据库日志是数据库系统中所有更新活动的操作序列。
数据库一致性检查：对数据库的物理和逻辑一致性进行检查，数据库控制台命令DBCC可用于数据库的一致性检查。
DBCC语句分类：
| 语句分类 | 执行 |
|---|---|
| 维护语句 | 对数据库、索引或文件组进行维护的任务 |
| 杂项语句 | 诸如启用行级锁定或从内存中删除动态链接库等杂项任务 |
| 状态语句 | 状态检查 |
| 验证语句 | 对数据库、表、索引、目录、文件组、系统表或数据库页的分配进行的验证操作 |
数据库监测管理：
数据库基本信息监测包括数据库的文件系统、碎片、死锁进程的监测，数据库可设置死锁检测进程执行的间隔时间，死锁检测进程负责监测、处理数据库系统中出现的死锁。
数据库表空间监测。
数据库文件I/O监测。
数据库备份与恢复：
数据库备份：数据库备份就是将数据库中的数据及数据库的物理和逻辑结构等相关数据字典信息，存放在其他的存储介质中进行保存。
数据库故障及恢复：与数据库运行相关的故障一般包括事务故障、系统故障和介质故障。
数据库性能优化： 数据库维护人员根据用户需求和监测结果对数据库性能进行调整和优化，如执行空间释放、表的重构、索引重建、数据分片等操作。
4.Oracle数据库监控
Oracle数据库的监控可以通过系统自带的语句或者一些监控软件如：Spotlight on Oracle。
监控方式包括：检查数据库基本状况；检查Oracle相关资源的使用情况；检查Oracle数据库备份结果；检查Oracle数据库性能；检查数据库CPU、I/O、内存性能；检查数据库安全性；其他检查。
5.SQL Server监控
使用SQL事件探查器和性能监控工具有效地诊断性能问题。
SQL事件探查器的基本用法： 启动SQL事件探查器，连接到目标数据库实例，创建一个新跟踪，指定一个跟踪模版；选择特定事件和列；设置过滤器；运行事件探查器，等待捕捉事件；停止事件探查器，将跟踪信息保存到一个文件中或数据表中；执行SQL查询语句找出执行代价较高的TSQL。
有效利用SQL事件探查器排除与性能相关的问题： 使用现有的模板；捕捉表扫描和死锁事件；创建重放跟踪；创建优化跟踪；捕捉showplan在事件探查器中包括SQL执行计划。
使用性能监视工具（PerfMon）诊断性能问题： 它可以定期收集硬件和软件相关的统计数据，它还是Windows操作系统内置的一个免费的工具。
性能监视器基本用法介绍： 在SQL事件探查器中启动性能监视工具；创建一个新的性能计数器日志；选择一个需要的计数器，指定收集计数器数据的间隔时间；选择要监视的对象和选定对象的实例；指定日志文件保存位置；指定计数器开始和结束日期；设置计数器停止条件；查看日志数据。
第3节 信息系统数据资源备份
1.数据资源备份类型
按数据备份模式分： 逻辑备份、物理备份。
按备份过程中是否可接收用户响应和数据更新分： 冷备份、热备份。
按数据备份策略分： 完全备份、增量备份、差异备份。
按备份的实现方式分： 远程磁带库、光盘库备份；远程关键数据+磁带备份；远程数据备份；网络数据镜像；远程镜像磁盘。
按数据备份的存储方式分： 直接附加的存储方式DAS；存储区域网络方式SAN；网络附加存储方式NAS。
2.常用备份相关技术
磁盘陈列技术：
磁盘阵列简称RAID，是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。
RAID常用级别的比较：
| RAID等级 | 特点 | 硬盘及容量 | 性能及安全 | 典型应用 |
|---|---|---|---|---|
| raid 0 | 用于平行存储，即条带。其原理是把连续的数据分成几份，分散存储到陈列中的各个硬盘上。任何一个硬盘故障，都将导致数据丢失。 | 硬盘数：一个或更多；容量：总的磁盘容量 | 性能：读写性能高，随机写性能高；安全：无冗余，无热备盘，无容错性，安全性低 | 无故障的迅速读写，要求安全性不高，如图形工作站等 |
| raid 1 | 镜像存储。其原理是把相同的数据分别写入阵列中的每一块磁盘中，最大限度地保证用户数据的可用性和可修复性。缺点是存储成本高 | 硬盘数：两个或2×N个；容量：总磁盘容量的50% | 性能：读写性能低，随机写性能低；安全：利用复制进行冗余，有热备盘，可容错，安全性高 | 随机数据写入，要求安全性高，如服务器、数据库存储领域 |
| raid 5 | 分布奇偶位条带。是一种存储性能、数据安全和存储成本兼顾的存储方案，也可理解为RAID 0和RAID 1的折中方案。 | 硬盘数：三个或更多；容量：（n-1）/n的总磁盘容量（n为磁盘数） | 性能：随机和连续写性能低，读性能高；安全：利用奇偶校验进行冗余，可容错，安全性高 | 随机数据传输要求安全性高，如金融、数据库、存储等 |
| raid 10 | 镜像陈列条带。兼顾存储性能和数据安全，提供了与RAID 1 一样的数据安全保障，同时具备与RAID 0近似的存储性能。缺点是存储成本高 | 硬盘数：四个或4×N个；容量：总磁盘容量的50% | 性能：读写性能适中；安全：利用复制进行冗余，可容错、安全高 | 适用于要求存取数据量大，安全性高，如银行、金融等领域 |
双机热备：
双机热备包含广义与狭义两种意义。从广义上讲，就是对于重要的服务使用两台服务器，互相备份，共同执行同一服务，当一台服务器出现故障时，可以由另一台服务器承担服务任务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。从狭义上讲，双机热备特指基于Active/Standby方式的服务器热备，数据同时往两台或多台服务器写，或者使用一个共享的存储设备，在同一时间只有一台服务器运行，当其中一台服务器出现故障无法启动时，另一台备份服务器会通过软件诊测将备用主机激活，保证应用在短时间内完全恢复正常。
3.某公司数据备份管理制度实例
为规范公司数据备份管理工作，合理存储历史数据及数据，保证数据的安全性，防止因硬件故障、意外断电、病毒等因素造成数据的丢失，保障公司正常的知识产权利益和技术资源的储备。备份工作应由系统管理员安排专人负责。备份管理人员负责制定备份、恢复策略，组织实施备份、恢复操作，指导备份介质的取放、更换和登记工作。日常备份操作可由备份管理人员完成。
第4节 云环境下的数据资源存储及维护
1.云存储技术
云存储是通过采用网格技术、分布式文件系统、集群应用等功能将网络中海量的异构存储设备用软件来控制，并共同提供数据存储访问、处理功能的一个系统服务。
2.云环境下的数据资源维护
云计算是一种以数据为中心的超级计算，在数据存储、数据管理和数据安全等方面具有独特的技术。
第5节 信息系统数据资源的开发与利用
数据资源的开发与利用包含两个层面的含义。首先，数据应当得到有效的组织和管理，才能通过系统化的应用服务于组织的管理和决策；其次，对数据资源的利用存在一个由浅入深、由单一到综合的提升过程。
1.数据仓库
按功能结构划分，数据仓库系统至少应包含数据获取、数据存储、数据访问三个关键部分。整个数据仓库系统是一个包含四个层次的体系结构。
2.数据挖掘
数据挖掘是通过挖掘数据仓库中存储的大量数据，从中发现有意义的新的关联模式和趋势的过程。
根据知识类型将数据挖掘划分为：概念描述；关联规则；分类和预测；聚类；时间序列数据分析。
3.数据挖掘在电子商务中的应用
数据挖掘的具体应用方面： 找到潜在客户；实现客户驻留；改进站点的设计；进行市场预测。
面向电子商务的数据挖掘过程： 数据准备；发现模式；分析、解释模式。
4.数据挖掘在应用中面临的问题
数据挖掘分析变量的选择；数据抽取的方法的选择；数据趋势的预测；数据模型的可靠性；数据挖掘及数据的私有性和安全性；数据挖掘结果的不确定性。
5.Web数据挖掘技术
技术概述： Web数据挖掘主要包括三种数据挖掘任务。对web内容的挖掘、对web结构的挖掘、对web访问的挖掘。
web挖掘技术与流程： web挖掘指使用数据挖掘技术在www数据中发现潜在的、有用的模式或信息。包括查找资源、模式发现、模式分析。
web数据挖掘技术在电子商务中的应用：
在web使用模式数据挖掘中，数据的来源主要有以下3个方面：服务器端数据的收集；包监测技术；后台数据库里的原有数据。
web数据挖掘技术实现的总体流程： 确立目标样本；提取特征信息；网络信息获取；信息特征匹配。