1999年，为集中管理大量的多媒体数据（包括文本、图片、声音、影像等）及以往分散存储的各类历史数据，我社开始着手建设多媒体数据库及其信息系统，以方便分支机构和兄弟新闻单位实时浏览查询文字、图片、音视频新闻资料。

    作为一个能够实时为使用者提供大量信息的多媒体信息系统，我社多媒体信息数据库系统包括了大型服务器SUN E10000、Oracle数据库、EMC存储磁盘阵列、ADIC磁带库、App Servers和Web Server环境及其应用等一系列软硬件设备，系统结构相当复杂；同时本系统的数据量也非常庞大，用户访问量不断增加。如何实施安全高效的数据存储与全局管理，让用户随时都可以合理、高效、安全、可靠地利用这些数据资料，避免因突发事件导致系统不可用或数据毁坏丢失，是我们建设数据存储系统时要解决的关键问题。
 
    为确保这些数据的万无一失，主机扩容和备份项目组本着着眼应用需求、注重开放性及可扩展性、避免投资浪费等标准，基于不断扩展、稳步推进的实施策略，从众多厂商中选择与Symantec公司合作，分三个阶段实施了数据保护及高可用性解决方案。

    在整个项目实施的第一阶段，我们采用了集中存放、多级存储的方式来组织管理多媒体信息数据库的数据。系统结构如下图所示：

    从图中可以看出：SUN E10K通过主备方式划分成为２个域（Domain1与Domain2）形成集群环境，并通过２条心跳线进行探测性通讯，以保证主机系统的高可靠性；EMC Symmetrix通过光纤以冗余方式连接在E10K的2个域上，并在盘阵的内部做硬件级的RAID 1的镜象保护，提供在磁盘系统的高可靠性；ADIC磁带库的机械手和磁带机均通过SCSI Channel连接到２个分区上形成冗余连接，以提供带库硬件的故障切换基础。

    我们采用了Symantec Cluster Server集群软件对SUN E10K的两个分区进行保护。实施效果表明：这样可以构造SUN E10K主机和EMC的Symmetrix存储子系统的高可用性系统，保证本地业务运行不间断，进而很好地达到了双机热备份的目的。

    同时，考虑到对现有及今后增加的磁盘阵列都需要进行在线管理，我们采用了Symantec Volume Manager（卷管理器）来实现对磁盘阵列的灵活有效管理。无论是原来的SCSI模式，还是将来的SAN模式，也无论是现有的EMC单一存储系统，还是将来可能增加的多品牌存储系统，在Symantec Volume Manager的管理之下，都可以通过统一接口实现对各种磁盘阵列的支持，并在不同的磁盘阵列之间提供Raid0,1,0+1,1+0,5等各种软件容错方案，同时支持SCSI模式到SAN模式的在线转换，转换前后也无需对应用及数据库作任何改动。

    第一阶段的项目实施完毕后，对于当时的应用而言，存储系统是一个效率好、可靠性高、可扩展的数据存储体系结构。但根据我们的估算，未来3年内盘阵上存放的数据量将达到2-3TB，而现有系统架构中的盘阵与磁带库并存、主机连接直接存储的结构都局限了整个系统的效率和资源，我们必须在下一阶段的建设中突破现有的硬件瓶颈，通过软件技术构造一个更加完善的存储系统，进一步提高系统性能和可靠性。

    在第一阶段利用Symantec Cluster Server和Symantec Volume Manager实现了系统高可用性及磁盘阵列的灵活有效管理之后，不断增长的数据量要求我们必须突破硬件瓶颈，利用Symantec的软件技术进一步提高系统性能和可靠性。

    为此，我们在第二阶段采用了SAN架构下的LAN Free备份模式：借助Symantec的磁带存储资源共享（SSO）技术，任何一台服务器都可将数据从磁盘直接写入磁带库，快速完成海量数据的备份。另一方面，由于数据流可直接从磁盘阵列传到带库内，无需占用网络带宽，因此在实现Oracle数据库在线热备份的同时不会影响数据的传输效率，确保了业务的连续性。

    LAN Free模式的成功实施得益于我们在第一阶段采用了扩展性极强的Symantec NetBackup备份软件。与其他备份管理软件常见的C/S二层结构要扩展时必须增加多个主机服务器相比，NetBackup具有独特的三层架构，我们在扩展新的应用时只需要增加一个介质服务器，而所有的备份管理都可以在原来的主服务器上实现。

    第二期项目实施完毕后， SUN E10K主机作为多媒体数据库系统最主要的数据处理中心，承担了提供外部访问服务、接受新上传的图片文件等工作。我们在这台主机上划分了两个分区（Domain1和Domain2）， 数据库和应用都在Domain1上运行。如果Domain1出现问题，系统会通过Symantec Cluster Server将数据库及应用服务自动切换到Domain 2上。由于目前的数据访问为独占的方式，即只能由一台机器对数据进行读写，因此大量的数据备份工作均由Domain 1完成。这样一来，Domain 1需要备份的数据量非常大，容易导致备份期间系统性能的下降，影响系统提供正常的服务；另一方面由于系统中的其他主机无法访问这些数据，也就无法分担Domain 1的工作，使Domain 1负载过大。而当Domain 1出现问题需要将任务切换到Domain 2时，文件系统和逻辑卷的修复会导致相当长的应用切换时间，也会影响系统的正常运行。

    针对上述问题，我们采用了Symantec的共享文件系统产品 SPFS / HA，提供一种系统负载分摊机制，在减轻Domain 1压力的同时提升系统的故障切换效率。具体实现方式如下图所示：

    图中的Domain 3是我们新增加的BCV管理控制系统。3个Domain在Symantec SANPoint Foundation SuiteTM HA的管理下，均可通过SAN光纤高速并行访问共享的文件。在这种模式下，无需对现有的应用程序进行修改，Domain 2即可承担Domain1的部分中图的处理工作。在数据共享后，Domain 1、2可以共同提供新闻数据的访问工作。同时由于另一个服务器只需要重新启动失效的服务器应用程序，而不需要输出和安装文件系统和逻辑卷，所以能大大减少应用程序的故障切换时间。利用SPFS/HA多服务共享文件和数据的能力，可以让应用服务和数据备份服务分布在不同的服务器上，极大地缩减了计划内应用系统维护所造成的数据库服务器的停机时间。

    为进一步提高系统性能，我们还采用了Symantec NetBackup ServerFree产品，借助系统静默、Frozen Image Service、映射（Mapping）等关键技术，使备份的数据流不再经过Domain 1和Domain 2，而是由备份代理直接从磁盘读取数据后再备份到带库上。这样，备份的大部分任务就被转移到了一台单独的备份代理上，大大减轻了备份作业对于Domain 1和Domain 2性能的影响。

    至此，我社多媒体信息系统的备份解决方案基本实施完毕。纵观整个项目实施的三个阶段，不难发现每个阶段之间是相互关联、环环相扣的。这一方面得益于我们遵循了整体布局、层层推进的策略，另一方面Symantec解决方案所具有的良好可扩展性也尤为重要。随着我社业务的扩展以及对系统结构的完善，今后我们将借助不断发展的存储技术，建立集中、有序、安全、高效的数据管理系统。