NetBackup7.5案例-小文件备份

NetBackup 7.5 小文件备份方案小文件备份方案赛门铁克公司工程背景工程背景XX公司DMS系统分布在PST和SST两个站点每个站点之前采用TSM软件+物理带库进行备份，架构如下系统改进需求系统改进需求随着系统数据的增长，之前的TSM备份系统难以满足需求两个站点，每个站点2个数据组，共4个数据组需要进行每日全备。在每个站点，采取在备份效劳器上挂载快照的方式进行文件系统备份，使用2个LTO5磁带机进行备份。至2021年11月：每个数据组约800GB数据，500万个小文件，每个站点需要超过14小时的备份时间窗口来完成日常备份。至2021年8月：每个数据组增长至约1TB数据，备份时间超过20小时。如果日常备份失败，那么无法在SLA要求的时间内重新发起完成备份。日常需要人工递送磁带，运维困难，同时时间难以保证。且由于缺乏自动的catalog DB同步机制，递送的磁带也难于在异地恢复。此外，还存在TSM Catalog DB增长过快，以及备份完后需要较长时间完成索引创立。问题分析及解决思路问题分析及解决思路影响备份系统性能的瓶颈TSM备份系统实际备份速度：约14MB/s 每磁带机备份的I/O路径：备份效劳器通过SAN从挂载的快照文件系统中读取数据，然后通过SAN写入磁带机磁带机的速度：使用的LTO5带机的理论速度约180MB/s传输带宽：SAN网络的传输能力约400MB/s文件系统性能：海量小文件的读取性能是瓶颈所在解决思路提高前端数据读出的性能多个数据流并行读取？海量小文件系统的性能与并发度不是线性关系。No变文件系统备份为裸设备备份？对文件系统类型有特定要求，改动太大。No减少备份时需读取的数据量？Netbackup 7.5的加速备份功能YES解决方案解决方案：Netbackup 7.5和和Netbackup一体机一体机利用Netbackup 7.5的相关功能解决问题加速备份功能：以增量备份的速度完成全备份，对平台和文件系统没有特殊要求重复数据删除：基于普通磁盘实现重复数据删除，支持前端和后端重删，节省网络带宽和存储空间，提高备份速度和可靠性自动映像复制：在两个站点间跨备份域自动复制经过消重的备份映像和目录库，无需日常人工干预，平安、简单、高效。生命周期管理：自动完成 备份-复制-下磁带 的过程并管理备份数据在不同设备上的保存和删除，可针对备份策略和调度灵活定义。Netbackup5220备份一体机集成了备份效劳器、磁盘存储、操作系统、Netbackup软件及辅助软件，并专门针对Netbackup进行了优化的一体化设备，安装、配置、管理及维护简单，性能强大。新的备份架构新的备份架构在PST和SST各部署一台Netbackup5220一体机，结合原有磁带库，每天自动按如下过程完成数据备份：数据先备份至本地NBU5220的磁盘上(保存周期1个月/6个月)备份完成后，自动复制到异地NBU5220的磁盘上保存周期1个月根据需要自动将数据在复制到异地磁带库上每10天一次，保存1年PSTNBU客户端TS3310完整数据流完整数据流LANNBU5220SSTLANNBU客户端WAN加速加速/消重数据流消重数据流TS3310NBU5220Copy 1 Copy 2 Copy 3 测试及上线后效果测试及上线后效果于2021年10月在生产系统进行了实际测试，验证了设计方案的正确性和性能，结果令人满意新系统已于2021年8月28日上线运行，完全到达设计目标每个站点当前约2TB数据每个站点的备份时间缩短至约4小时日常消重率约99%，偶尔98%跟业务系统的变化相关通过1MB/s带宽进行复制，日常复制时间约7小时，偶尔14小时通过两个磁带机下磁带，用时约5小时数据可在两个站点随时恢复恢复1TB数据用时约5小时SST站点的站点的备份数据量备份数据量 vs.备份时间备份时间SST站点的备份数据量站点的备份数据量 vs.消重后的数据量消重后的数据量SST站点的复制至站点的复制至PST的数据量的数据量 vs.复制时间复制时间在在SST站点下磁带的作业情况站点下磁带的作业情况在9月2日的7:41至12:30约5小时完成了一次下磁带的作业