存储及双活测试方案

-融通基金存储升级及双活数据中心工程测试方案V1.0市桑威科技*2016年5月. z.-文档信息工程名称：融通基金VPLE* Metro工程测试报告文档版本号：1.0文档 彭世华生成日期：2016年5月文档审核者：审核日期：文档维护记录版本号维护日期作者/维护人描述1.02016年5月12日彭世华创立初稿. z.-目录1.环境配置52.测试目的53.VPLE*测试环境的建立53.1.SAN SWITCH物理连线53.2.SAN SWITCH配置53.3.存储系统配置54.测试场景65.测试结论76.测试步骤及结果86.1.测试1 : VPLE*控制器高可用测试86.2.测试2： VPLE*后端链路高可用测试96.3.测试3：双活镜像测试96.4.测试4： VPLE* METRO级联链路高可用测试_1106.5.测试5：双活仲裁测试_1106.6.测试6：双活仲裁测试_2116.7.测试7：双活仲裁测试_3116.8.测试8：双活仲裁测试_4126.9.测试9：双活仲裁测试_5126.10.测试10：双活仲裁测试_6136.11.测试11：双活仲裁测试_7137.场景测试及结果147.1.测试场景1：超算VN*5800故障147.2.测试场景2：汉唐VN*5500故障147.3.测试场景3：所有存储同时故障157.4.测试场景4：WITNESS发生故障157.5.测试场景5：VPLE*_1、VPLE*_2同时故障157.6.测试场景6：VPLE*_1、VPLE*_2同时故障，后端存储也同时故障167.7.测试场景7：WITNESS与VPLE*_1 IP通信中断，其他正常167.8.测试场景8：WITNESS与VPLE*_2 IP通信中断，其他正常177.9.测试场景9：WITNESS与VPLE*_1、VPLE*2 IP通信中断，其他正常177.10.测试场景10：VPLE*_1、VPLE*2 IP通信中断，但是VPLE*_1、VPLE*2各自与WITNESS IP通信正常187.11.测试场景11：4台FC交换机之间的裸光纤全部故障，其他正常187.12.测试场景12：超算FC交换机故障197.13.测试场景13：汉唐FC交换机故障197.14.测试场景14：所有交换机同时故障207.15.测试场景15：VPLE*_1与VN*5800光纤链路故障，其它正常207.16.测试场景16：VPLE*_2与VN*5500光纤链路故障，其它正常217.17.测试场景17：裸光纤全故障，外网LUN在超算起来，网LUN从汉唐起来218.审计意见229.讨论反应后备注221. 环境配置硬件：设备数量微码/版本备注VPLE* VS225.5 SP2每个机房配置双引擎建议安装版本5.5 SP2SAN SwitchsEMC DS6510B5100B4用于连接EMC VPLE*和后端存储现有5100微码需要升级VN*5800540025.33我们使用全新的VN*5800和5400测试2测试主机待定软件：工程版本备注虚化化Es*i 6.0物理机OL 6.5多路径软件Es*i 6.0自带、Powerpath 6.02. 测试目的测试不同场景下，测试主机对EMC虚拟化存储的访问状况，从而测试EMC VPLE* metro的高可用性。3. VPLE*测试环境的建立3.1. SAN Switch物理连线完成测试主机到SAN Switch，SAN Switch到测试存储系统之间的光纤连接。3.2. SAN Switch配置完成测试主机与测试存储系统之间的ZONE配置。3.3. 存储系统配置VPLE*将已封装的LUN分配给ES*主机及物理机4. 测试场景vple*_1、Witness、vn*5800 在超算机房，vple*_2、vn*5500 在汉唐机房。测试容说明预期测试1VPLE*单个director故障将一台VPLE*的一个director的光纤线全部断开，观察测试主机的IO路径和IO访问状况虚拟机不受影响，主机的IO读写能持续进展测试2VPLE*后端链路高可用测试VPLE*的后端链路局部中断虚拟机不受影响，主机的IO读写能持续进展测试3双活镜像测试后端存储VN*5800发生突然停机虚拟机不受影响，主机的IO读写能持续进展测试4VPLE* Metro级联链路裸纤高可用测试_1VPLE* WAN-级联链路有一条故障虚拟机不受影响，主机可以持续读写数据。测试5双活仲裁测试1VPLE* WAN-级联链路全部故障Witness正常工作虚拟机不受影响，主机可以持续读写数据。测试6双活仲裁测试2关闭VPLE*_2，观察测试主机的IO路径和IO访问状况Witness正常工作虚拟机不受影响，主机可以持续读写数据。测试7双活仲裁测试3关闭VPLE*_1，观察测试主机的IO路径和IO访问状况Witness正常工作虚拟机不受影响，主机可以持续读写数据。测试8双活仲裁测试4关闭Witness，观察测试主机的IO路径和IO访问状况虚拟机不受影响，主机可以持续读写数据。测试9双活仲裁测试5同时关闭VPLE*_2和Witness虚拟机不能运行，主机IO挂起，需要在VPLE*_1上手动恢复IO访问测试10双活仲裁测试6同时关闭VPLE*_1和Witness虚拟机不能运行，主机IO挂起，需要在VPLE*_2上手动恢复IO访问测试11双活仲裁测试7Witness和所有WAN-裸纤全部同时故障虚拟机不能运行，主机IO挂起， VPLE*_1和VPLE*_2都挂起，需手动选择恢复测试12超算VN*5800故障超算VN*5800故障测试13汉唐VN*5500故障汉唐VN*5800故障测试14所有存储同时故障超算VN*5800与汉唐VN*5500同时故障测试15Witness发生故障Witness发生故障，其它正常测试16vple*_1、vple*_2同时故障vple*_1、vple*_2同时故障，后端存储存活测试17vple*_1、vple*_2同时故障，后端存储也同时故障vple*_1、vple*_2同时故障，后端存储也同时故障测试18Witness与vple*_1 IP通信中断，其他正常Witness与vple*_1 IP通信中断，其他正常测试19Witness与vple*_2 IP通信中断，其他正常Witness与vple*_2 IP通信中断，其他正常测试20Witness与vple*_1、vple*2 IP通信中断，其他正常Witness与vple*_1、vple*2 IP通信中断，其他正常测试21vple*_1、vple*2 IP通信中断，但是 vple*_1、vple*2各自与witness IP通信正常vple*_1、vple*2 IP通信中断，但是 vple*_1、vple*2各自与witness IP通信正常测试224台FC交换机之间的裸光纤全部故障，其他正常4台FC交换机之间的裸光纤全部故障，其他正常测试23超算FC交换机故障超算FC交换机故障全部故障测试24汉唐FC交换机故障汉唐FC交换机故障全部故障测试25所有交换机同时故障所有交换机同时故障测试26vple*_1与vn*5800光纤链路故障，其它正常vple*_1与vn*5800光纤链路故障，其它正常测试27vple*_2与vn*5500光纤链路故障，其它正常vple*_2与vn*5500光纤链路故障，其它正常测试28裸光纤全故障，外网LUN在超算起来，网LUN从汉唐起来裸光纤全故障，外网LUN在超算起来，网LUN从汉唐起来测试28测试29测试30测试315. 测试结论测试容测试结论测试1VPLE*控制器高可用测试测试2VPLE*后端链路高可用测试测试3双活镜像测试测试4VPLE* Metro级联链路高可用测试_1测试5双活仲裁测试1测试6双活仲裁测试2测试7双活仲裁测试3测试8双活仲裁测试4测试9双活仲裁测试5测试10双活仲裁测试6测试11双活仲裁测试76. 测试步骤及结果6.1. 测试1 : VPLE*控制器高可用测试故障模拟：其中一台VPLE*上的一个director控制器突然发生故障测试方法：直接reboot director或者disable该director在SAN交换机的端口模拟该director故障此处采用disable 端口初始相关参数：VPLE*: auto-resume-at-loser = trueCG：detach-rule = winner cluster-1 after 5s步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 断开VPLE*_1的director A的所有光纤线4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。故障恢复：director重启或者enable交换机中主机与该director的zone模拟该director故障恢复预期结果：主机的IO路径中断一半，主机可以继续访问VPLE*_1测试1记录：测试1结论：6.2. 测试2： VPLE*后端链路高可用测试故障模拟：VPLE*与后端存储直接的链路出现不稳定或故障测试方法：在交换机上disable VPLE*的后端端口两边非同时预期结果：主机可以继续访问VPLE*，被拔掉的一边后端存储显示失效。测试记录：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 登录SAN 交换机4， 找到一台VPLE*的后端端口5， portdisable这些后端端口6， 登录VMWARE管理界面观察，记录结果7， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试2结果：测试2结论：6.3. 测试3：双活镜像测试故障模拟：VPLE*的后端VN*5800存储突然down机，模拟后端存储完全故障测试方法：把VN*5800的前端口在交换机上disable步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 在交换机上将VN*5800存储的端口全部关闭。4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。预期结果：主机正常访问VPLE*，主机端不受任何影响，虚拟机状态正常，虚拟化平台正常，磁盘扫描没有变化，主机到VPLE*路径全部都在完毕时间：测试3结果：测试3结论：6.4. 测试4： VPLE* Metro级联链路高可用测试_1故障模拟：VPLE* Metro两个site的WAN-(裸纤)级联链路出现不稳定开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 断开VPLE*_1的的一个WAN-口的光纤线或disable一条裸纤在交换机上的所有端口4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试4结果：测试4结论：6.5. 测试5：双活仲裁测试_1故障模拟：VPLE* Metro两个site的WAN-级联链路全部中断开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 断开VPLE*_1的的两个WAN-口的光纤线4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试5结果：测试5结论：6.6. 测试6：双活仲裁测试_2故障模拟：当Witness工作正常时，模拟一个VPLE* 群集故障开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 断开VPLE*_2的的所有接口4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试6结果：测试6结论：6.7. 测试7：双活仲裁测试_3故障模拟：当Witness工作正常时，模拟另外一个VPLE* 群集VPLE*_1故障开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 断开VPLE*_1的的所有接口4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试7结果：测试7结论：6.8. 测试8：双活仲裁测试_4故障模拟：当Witness故障时，确认VPLE*群集是否工作正常开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 关闭Witness4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试8结果：测试8结论：6.9. 测试9：双活仲裁测试_5故障模拟：一个VPLE*群集VPLE*_2和Witness同时故障开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 同时关闭VPLE*_2所有端口和Witness4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试9结果：测试9结论：6.10. 测试10：双活仲裁测试_6故障模拟：另外一个VPLE*群集VPLE*_1和Witness同时故障开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 同时关闭VPLE*_1所有端口和Witness4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试10结果：测试10结论：6.11. 测试11：双活仲裁测试_7故障模拟：所有WAN-裸纤和Witness同时故障开场时间：步骤：1， 当前主机访问VPLE* Metro正常2， 确认VPLE*状态正常，确认当前无rebuild任务；3， 同时关闭所有裸纤在光纤交换机上的所有端口和Witness4， 登录VMWARE管理界面观察，记录结果5， 登录VPLE* GUI和CLI观察，记录结果。完毕时间：测试11结果：测试11结论：7. 场景测试及结果7.1. 测试场景1：超算VN*5800故障场景模拟：超算VN*5800故障测试方法：在交换机上disable VN*5800前端口预期结果：主机可以继续访问VPLE*，超算VPLE*显示后端存储故障，所有超算端Volume出错。测试记录：测试场景1结果：测试场景1结论：7.2. 测试场景2：汉唐VN*5500故障场景模拟：汉唐VN*5800故障测试方法：在交换机上disable汉唐 VN*5500前端口预期结果：主机可以继续访问VPLE*，汉唐VPLE*显示后端存储故障，所有汉唐端Volume出错。测试记录：测试场景2结果：测试场景2结论：7.3. 测试场景3：所有存储同时故障场景模拟：所有存储同时故障测试方法：在交换机上disable VN*5800及VN*5500前端口预期结果：VPLE*系统显示后端存储故障，主机虽然连接VPLE*，但无法读写数据测试记录：测试场景3结果：测试场景3结论：7.4. 测试场景4：Witness发生故障场景模拟：仅Witness发生故障测试方法：关闭Witness虚拟机预期结果：主机访问VPLE*正常，超算及汊唐Cluster正常，系统提示Witness连接中断。测试记录：测试场景4结果：测试场景4结论：7.5. 测试场景5：vple*_1、vple*_2同时故障场景模拟：vple*_1、vple*_2同时故障测试方法：在交换机上Disable vple*_1、vple*_2的所有前端及后端预期结果：VPLE*系统显示所有Cluster故障，主机访问中断。测试记录：测试场景5结果：测试场景5结论：7.6. 测试场景6：vple*_1、vple*_2同时故障，后端存储也同时故障场景模拟：vple*_1、vple*_2同时故障，后端存储也同时故障测试方法：在交换机上Disable vple*_1、vple*_2的所有前端及后端，Disable所有存储前端预期结果：VPLE*系统显示所有Cluster故障，主机访问中断。测试记录：测试场景6结果：测试场景6结论：7.7. 测试场景7：Witness与vple*_1 IP通信中断，其他正常场景模拟：Witness与vple*_1 IP通信中断，其他正常测试方法：拨出超算vple*_1的管理网线预期结果：主机访问VPLE*正常，超算及汊唐Cluster正常，系统提示Cluster1的Witness连接中断。测试记录：测试场景7结果：测试场景7结论：7.8. 测试场景8：Witness与vple*_2 IP通信中断，其他正常场景模拟：Witness与vple*_2 IP通信中断，其他正常测试方法：拨出汉唐vple*_2的管理网线预期结果：主机访问VPLE*正常，超算及汊唐Cluster正常，系统提示Cluster2的Witness连接中断。测试记录：测试场景8结果：测试场景8结论：7.9. 测试场景9：Witness与vple*_1、vple*2 IP通信中断，其他正常场景模拟：Witness与vple*_1、vple*2 IP通信中断，其他正常测试方法：在虚拟机上断开Witness的网卡连接预期结果：主机访问VPLE*正常，超算及汊唐Cluster正常，系统提示Witness连接中断。测试记录：测试场景9结果：测试场景9结论：7.10. 测试场景10：vple*_1、vple*2 IP通信中断，但是vple*_1、vple*2各自与witness IP通信正常场景模拟：vple*_1、vple*2 IP通信中断，但是vple*_1、vple*2各自与witness IP通信正常测试方法：断开vple*_1、vple*2之间的网络路由预期结果：主机访问VPLE*正常，超算及汊唐Cluster正常，系统提示Witness VPN连接异常。测试记录：测试场景10结果：测试场景10结论：7.11. 测试场景11：4台FC交换机之间的裸光纤全部故障，其他正常场景模拟：4台FC交换机之间的裸光纤全部故障，其他正常测试方法：Disable所有DS6510与DS5100之间的所有级联端口预期结果：超算主机访问VPLE*正常，汉唐主机访问VPLE*故障，VPLE*系统显示Cluster Partition。测试记录：测试场景11结果：测试场景11结论：7.12. 测试场景12：超算FC交换机故障场景模拟：超算2台DS6510交换机故障测试方法：关闭超算2台DS6510交换机所有电源预期结果：汉唐主机访问VPLE*正常，超算主机访问VPLE*故障，VPLE*系统显示Cluster Partition。测试记录：测试场景12结果：测试场景12结论：7.13. 测试场景13：汉唐FC交换机故障场景模拟：汉唐2台DS5100交换机故障测试方法：关闭汉唐2台DS5100交换机所有电源预期结果：超算主机访问VPLE*正常，汉唐主机访问VPLE*故障，VPLE*系统显示Cluster Partition。测试记录：测试场景13结果：测试场景13结论：7.14. 测试场景14：所有交换机同时故障场景模拟： 4台SAN交换机故障测试方法：关闭超算及汉唐4台SAN交换机所有电源预期结果：VPLE*系统显示所有Cluster故障，主机访问中断。测试记录：测试场景14结果：测试场景14结论：7.15. 测试场景15：vple*_1与vn*5800光纤链路故障，其它正常场景模拟：vple*_1与vn*5800光纤链路故障，其它正常测试方法：Disable vple*_1与vn*5800 所在的SAN交换机端口预期结果：所有主机可以继续访问VPLE*，VPLE*系统显示Cluster Partition，Cluster1故障，所有超算端Volume出错，。测试记录：测试场景15结果：测试场景15结论：7.16. 测试场景16：vple*_2与vn*5500光纤链路故障，其它正常场景模拟：vple*_2与vn*5500光纤链路故障，其它正常测试方法：Disable vple*_2与vn*5500 所在的SAN交换机端口预期结果：所有主机可以继续访问VPLE*，VPLE*系统显示Cluster Partition，Cluster2故障，所有汉唐端Volume出错，。测试记录：测试场景16结果：测试场景16结论：7.17. 测试场景17：裸光纤全故障，外网LUN在超算起来，网LUN从汉唐起来场景模拟：裸光纤全故障，外网LUN在超算起来，网LUN从汉唐起来测试方法：拨出波分系统上的所有裸光纤预期结果：超算主机访问VPLE*正常，汉唐中心Cluster2 Suspended，VPLE*系统显示Cluster2故障。假设要选择外网LUN在超算起来由于所有LUN均在超算运行，因此外网LUN无需任何操作；假设要选择网LUN从汉唐起来，需要以下步骤：1、 将网业务在超算的效劳器关机2、 在汉唐中心ssh登陆vple*命令行，执行命令以TATZ_CG为例：VPle*cli:/clusters/cluster-2/consistency-groups/TATZ_CG choose-winner -c cluster-2 3、 启动该系统数据库及应用即可。测试记录：测试场景17结果：测试场景17结论：8. 审计意见审计：上述描写测试步骤没问题，但有两个意见1. 测试总共有28项，这里只有11项，未完成。2. 另外双活中心功能测试最好结合Oracle RAC完成，原因是VMWARE的容错性较高，而Oracle容错性较低，从Oracle的角度去测试会更加严格，能够发现的问题会更多。3. 涉及两个机房切换的测试建议加压力测试，以了解在高负荷情况下，切换是否能顺利，是否能在应用承受的延迟下完成切换。9. 讨论反应后备注上述问题都没完成. z.