SFCFS操作手册

SYMANTEC 大中国区顾问服务中国联通SFCFS操作手册Sep, 2011Version 1.文件信息版本Document TitleSFCFS操作手册SubjectVersion1.0Date2011/9/7AuthorFilenameComments关于文档该文件可以与Symantec Consultant取得联系获得最新版本修改历史日期作者版本修改内容 目录1Storage Foundation for RAC/CFS简单操作21.1命令行操作简介21.1.0如何重启主机21.1.1检查cluster状态21.1.2 启动服务组21.1.3 停止服务组21.1.4 切换服务组21.1.5 停止某个资源21.1.6启动某个资源21.1.7发现某个资源出错后清除错误21.1.8如果资源无法启动或停止需要flush状态21.1.9查看心跳信息21.1.10查看cluster支持RAC/CFS的状态21.1.11查看磁盘状态21.1.12查看 disk group 状态21.1.13查看disk group 剩余空间21.1.14查看 volume 的状态21.1.15 添加一个disk group21.1.16在disk group中添加一块盘21.1.17创建stripe的volume21.1.18创建文件系统21.1.19 mount文件系统21.1.20查看cluster的日志21.1.21查看volume manager的日志21.1.22删除一个volume21.1.23删除一个disk group21.1.24如何扩大或缩小文件系统21.1.25如何禁止fencing21.1.26 shutdown说明21.1.27检查磁盘的serial number21.1.28如何查看license key21.1.29如何添加license key21.1.30如何查看多路径信息21.1.31如何让cluster两主机都停止后启动一台主机提供服务21.1.32如何停止一个HBA卡上的I/O（用于升级微码）21.1.33如何更换一个HBA卡21.1.34如何添加一个oracle使用的裸设备21.1.35如何停止cluster软件21.1.36如何手工import disk group并启动volume21.1.37如何手工deport disk group22图形界面简介22.1cluster图形界面22.2Volume Manager图形界面23高级操作23.1dmp操作23.1.1如何禁止多路径23.1.2查看磁盘路径的常用命令23.1.3查看dmp路径的常用命令23.1.4查看controller的常用命令23.1.5查看阵列的常用命令23.1.6查看dmp 的实时I/O 状态23.1.7如何升级阵列的微码23.1.8对磁盘I/O错误的处理23.1.9查看asl和apm 信息23.1.10添加对不支持阵列的简单支持23.1.11磁盘名称的显示方式23.1.12重新生成磁盘名23.1.13cvm的操作23.2fencing key操作23.2.1查看key的方法23.2.2清除key的方法123.2.3清除key的方法223.2.4清除key的方法323.3snapshot操作23.3.1说明23.3.2创建dco version 2023.3.3创建full-size instant snapshot23.3.4创建space-optimized instant snapshot23.3.5创建emulation of third-mirror break-off snapshot23.3.6其它操作23.3.7snapshot的性能调优23.4mirror操作23.4.1注意事项23.4.2常见操作23.4.3性能调优23.4.4对ssb情况的处理23.5site mirror23.5.1注意事项23.5.2配置site mirror23.5.3对存在的disk group配置site mirror23.5.4日常操作21 Storage Foundation for RAC/CFS简单操作Storage Foundation for RAC/CFS的操作可以采用命令行、java图形界面和web界面进行。1.1 命令行操作简介1.1.0如何重启主机SFRAC/SFCFS for AIX环境下要使用shutdown ry 0命令来重启主机，不能使用 reboot命令shutdown ry 0命令会执行/etc/rc.d下的K脚本，会正常地停止cluster软件，而reboot不会。如果使用reboot命令重启后，需要查看errpt,如果有fencing的报错，并且无法import disk group, 就要使用 vxfenclearpre命令后重启主机才能恢复正常。 1.1.1检查cluster状态rp84db1:/#hastatus sum 查看总体的cluster状态- SYSTEM STATE- System State Frozen A rp84db1 RUNNING 0 A rp84db2 RUNNING 0 - GROUP STATE- Group System Probed AutoDisabled State B Oradb rp84db1 Y N ONLINE B Oradb rp84db2 Y N ONLINE B ccolap_sg rp84db1 Y N OFFLINE B ccolap_sg rp84db2 Y N ONLINE B cvm rp84db1 Y N ONLINE B cvm rp84db2 Y N ONLINE Rp84db1:/#hastatus 用于查看动态的cluster信息 attempting to connect.connectedgroup resource system message - - - - rp84db1 RUNNING rp84db2 RUNNING Oradb rp84db1 ONLINE Oradb rp84db2 ONLINE -cvm rp84db1 ONLINE cvm rp84db2 ONLINE ccolap_sg rp84db2 ONLINE ccolap_sg rp84db1 OFFLINE CFSocrvote rp84db1 ONLINE - CFSocrvote rp84db2 ONLINE CFSoradb rp84db1 ONLINE CFSoradb rp84db2 ONLINE CFSorafb rp84db1 ONLINE CFSorafb rp84db2 ONLINE - DGocrvote rp84db1 ONLINE DGocrvote rp84db2 ONLINE DGora rp84db1 ONLINE DGora rp84db2 ONLINE vxfsckd rp84db1 ONLINE - vxfsckd rp84db2 ONLINE cvm_clus rp84db1 ONLINE cvm_clus rp84db2 ONLINE cvm_vxconfigd rp84db1 ONLINE cvm_vxconfigd rp84db2 ONLINE - ccolap_dg rp84db2 ONLINE ccolap_dg rp84db1 OFFLINE ccolap_oradb_vol rp84db2 ONLINE ccolap_oradb_vol rp84db1 OFFLINE ccolap_orafb_vol rp84db2 ONLINE - ccolap_orafb_vol rp84db1 OFFLINE ccolap_etl_vol rp84db2 ONLINE ccolap_etl_vol rp84db1 OFFLINE ccolap_oradb_mnt rp84db2 ONLINE ccolap_oradb_mnt rp84db1 OFFLINE - ccolap_orafb_mnt rp84db2 ONLINE ccolap_orafb_mnt rp84db1 OFFLINE ccolap_etl_mnt rp84db2 ONLINE ccolap_etl_mnt rp84db1 OFFLINE ccolap_ip rp84db2 ONLINE - ccolap_ip rp84db1 OFFLINE ccolap_nic rp84db2 ONLINE ccolap_nic rp84db1 ONLINE ccolap_oracle rp84db2 ONLINE ccolap_oracle rp84db1 OFFLINE - ccolap_listener rp84db2 ONLINE ccolap_listener rp84db1 OFFLINE 1.1.2 启动服务组#hagrp online -sys 1.1.3 停止服务组#hagrp offline -sys 1.1.4 切换服务组这个操作相当于在一边停止服务组，在另一边驱动服务组#hagrp switch -to 1.1.5 停止某个资源#hares offline -sys 1.1.6启动某个资源#hares online -sys 1.1.7发现某个资源出错后清除错误#hares clear -sys 1.1.8如果资源无法启动或停止需要flush状态#hagrp flush -sys 1.1.9查看心跳信息rp84db1:/#gabconfig -aGAB Port Memberships=Port a gen 705d01 membership 01Port b gen 705d07 membership 01Port d gen 705d06 membership 01Port f gen 705d0f membership 01Port h gen 705d05 membership 01Port o gen 705d04 membership 01Port v gen 705d0b membership 01Port w gen 705d0d membership 011.1.10查看cluster支持RAC/CFS的状态rp84db1:/#vxdctl -c modemode: enabled: cluster active - SLAVEmaster: rp84db2相当与oracle中的lsnodes1.1.11查看磁盘状态#vxdisk o alldgs list DEVICE TYPE DISK GROUP STATUSDEVICE TYPE DISK GROUP STATUSc0t6d0 auto:LVM - - LVMc2t6d0 auto:LVM - - LVMc25t0d1 auto:cdsdisk - (vxfencoorddg) onlinec25t0d3 auto:cdsdisk - (vxfencoorddg) onlinec25t0d4 auto:LVM - - LVMc25t0d6 auto:cdsdisk - (vxfencoorddg) onlinec25t1d0 auto:cdsdisk - (ccolapdg) onlinec25t1d1 auto:cdsdisk - (ccolapdg) onlinec31t0d2 auto:cdsdisk ocrvotedg01 ocrvotedg online sharedc31t0d5 auto:cdsdisk oradg02 oradg online sharedc31t0d7 auto:cdsdisk oradg01 oradg online sharedc31t1d2 auto:cdsdisk - (ccolapdg) online1.1.12查看 disk group 状态#vxdg listNAME STATE IDoradg enabled,shared,cds 1237977903.46.rp84db1ocrvotedg enabled,shared,cds 1237979570.48.rp84db1 1.1.13查看disk group 剩余空间#vxdg free GROUP DISK DEVICE TAG OFFSET LENGTH FLAGSoradg oradg01 c31t0d7 c31t0d7 398508160 20872960 -ocrvotedg ocrvotedg01 c31t0d2 c31t0d2 972800 26496 -1.1.14查看 volume 的状态Disk group: oradgDG NAME NCONFIG NLOG MINORS GROUP-IDST NAME STATE DM_CNT SPARE_CNT APPVOL_CNTDM NAME DEVICE TYPE PRIVLEN PUBLEN STATERV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRLRL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNKCO NAME CACHEVOL KSTATE STATEVT NAME RVG KSTATE STATE NVOLUMEV NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPEPL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODESD NAME PLEX DISK DISKOFFS LENGTH COL/OFF DEVICE MODESV NAME PLEX VOLNAME NVOLLAYR LENGTH COL/OFF AM/NM MODESC NAME PLEX CACHE DISKOFFS LENGTH COL/OFF DEVICE MODEDC NAME PARENTVOL LOGVOLSP NAME SNAPVOL DCOEX NAME ASSOC VC PERMS MODE STATESR NAME KSTATEdg oradg default default 45000 1237977903.46.rp84db1dm oradg01 c31t0d7 auto 32768 419381120 -dm oradg02 c31t0d5 auto 32768 52379520 -v oradbvol - ENABLED ACTIVE 398458880 SELECT - fsgenpl oradbvol-01 oradbvol ENABLED ACTIVE 398458880 CONCAT - RWsd oradg01-01 oradbvol-01 oradg01 0 398458880 0 c31t0d7 ENAv orafbvol - ENABLED ACTIVE 52428800 SELECT - fsgenpl orafbvol-01 orafbvol ENABLED ACTIVE 52428800 CONCAT - RWsd oradg02-01 orafbvol-01 oradg02 0 52379520 0 c31t0d5 ENAsd oradg01-02 orafbvol-01 oradg01 398458880 49280 52379520 c31t0d7 ENADisk group: ocrvotedgDG NAME NCONFIG NLOG MINORS GROUP-IDST NAME STATE DM_CNT SPARE_CNT APPVOL_CNTDM NAME DEVICE TYPE PRIVLEN PUBLEN STATERV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRLRL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNKCO NAME CACHEVOL KSTATE STATEVT NAME RVG KSTATE STATE NVOLUMEV NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPEPL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODESD NAME PLEX DISK DISKOFFS LENGTH COL/OFF DEVICE MODESV NAME PLEX VOLNAME NVOLLAYR LENGTH COL/OFF AM/NM MODESC NAME PLEX CACHE DISKOFFS LENGTH COL/OFF DEVICE MODEDC NAME PARENTVOL LOGVOLSP NAME SNAPVOL DCOEX NAME ASSOC VC PERMS MODE STATESR NAME KSTATEdg ocrvotedg default default 35000 1237979570.48.rp84db1dm ocrvotedg01 c31t0d2 auto 32768 999296 -v ocrvotevol - ENABLED ACTIVE 972800 SELECT - fsgenpl ocrvotevol-01 ocrvotevol ENABLED ACTIVE 972800 CONCAT - RWsd ocrvotedg01-01 ocrvotevol-01 ocrvotedg01 0 972800 0 c31t0d2 ENA1.1.15 添加一个disk group添加cluster的disk groupvxdg -s init 添加普通的disk groupvxdg init 1.1.16在disk group中添加一块盘#vxdg g adddisk 1.1.17创建stripe的volume#vxassist g make 500g layout=stripe stripeunit=64k ncol=21.1.18创建文件系统#mkfs V vxfs o largefiles /dev/vx/rdsk/ 1.1.19 mount文件系统mount cluster的文件系统:#mount V vxfs o cluster,largefiles /dev/vx/dsk/ /mount文件系统:#mount V vxfs o largefiles /dev/vx/dsk/ /1.1.20查看cluster的日志#tail f /var/VRTSvcs/log/engine_A.log2006/10/22 19:44:25 VCS NOTICE V-16-1-10447 Group ysdb_sg is online on system rp84db12006/10/22 19:44:25 VCS INFO V-16-6-15004 (rp84db1) hatrigger:Failed to send trigger for nfs_restart; script doesnt exist2006/10/22 19:44:25 VCS INFO V-16-6-15004 (rp84db1) hatrigger:Failed to send trigger for postonline; script doesnt exist2006/10/22 20:55:53 VCS INFO V-16-1-10077 Received new cluster membership2006/10/22 20:55:53 VCS NOTICE V-16-1-10080 System (rp84db1) - Membership: 0x3, Jeopardy: 0x22006/10/22 20:55:53 VCS ERROR V-16-1-10087 System rp84db2 (Node 1) is in Regardy Membership - Membership: 0x3, Jeopardy: 0x22006/10/22 20:55:53 VCS INFO V-16-6-15004 (rp84db2) hatrigger:Failed to send trigger for injeopardy; script doesnt exist2006/10/22 20:56:46 VCS INFO V-16-1-10077 Received new cluster membership2006/10/22 20:56:46 VCS NOTICE V-16-1-10080 System (rp84db1) - Membership: 0x3, Jeopardy: 0x02006/10/22 20:56:46 VCS NOTICE V-16-1-10086 System rp84db2 (Node 1) is in Regular Membership - Membership: 0x31.1.21查看volume manager的日志AIX使用#errpt aHP-UX查看/var/log/syslog/syslog.log1.1.22删除一个volume#vxedit g -rf rm 1.1.23删除一个disk group#vxdg destroy 1.1.24如何扩大或缩小文件系统To resize a file system and a volume that contains it, the vxresize command can beused. The command should be run from the cvm master node. If resizing the volume orthe file system independent of each other, then the command should be run from the cvmmaster node or the cfs primary node respectively.To determine the primary node for a file system in a cluster, type:# fsclustadm v showprimary mount_pointTo determine if the current node is the master CVM node, type:# vxdctl -c modemode: enabled: cluster active - SLAVEmaster: star33如果cvm的master和cfs的primary node在一边，可以使用如下命令# vxresize -g -b -F vxfs 10g (此命令只能用于mount起来的文件系统)1.1.25如何禁止fencingYou may have to disable fencing in the following cases: The cluster has been upgraded to the latest SFCFS stack and the storage does notsupport SCSI-3 PGR feature. During installation fencing was turned on but later you want to turn it off.By default, the VxFEN driver operates with I/O fencing enabled. To disable this featurewithout removing the coordinator disks, you must create the file /etc/vxfenmode andinclude a string within the file to notify the VxFEN driver, then stop and restart the driver,as instructed below:# echo vxfen_mode=disabled /etc/vxfenmode# /etc/rc.d/rc2.d/S97vxfen stop# /etc/rc.d/rc2.d/S97vxfen start1.1.26 shutdown说明不要使用reboot进行停机要使用shutdown Fr或shutdown r y now进行shutdown Fr会自动将上面的服务组停止后才重启1.1.27检查磁盘的serial number# vxfenadm -i /dev/rhdisk75Vendor id : EMCProduct id : SYMMETRIXRevision : 5567Serial Number : 42031000a#vxdmpinq /dev/rhdisk751.1.28如何查看license key#vxlicrep1.1.29如何添加license key#vxlicinst可以在线添加,立刻生效1.1.30如何查看多路径信息方法1:vxdisk list 如vxdisk list GENESIS0_0输出的最后五行numpaths: 4hdisk39state=enabledhdisk77state=enabledhdisk115state=enabledhdisk153state=enabled如果线路出错，状态会变成disabled同时要注意如果一个盘上没有任何I/O,磁盘的状态会一直是enabled当盘上有I/O后并发现线路上有错误，磁盘的状态会变成disabled方法2:列出主机所有的控制器# vxdmpadm listctlr all列出主机一条控制器上的所有磁盘路径# vxdmpadm getsubpaths ctlr=方法 3:#vxdisk path1.1.31如何让cluster两主机都停止后启动一台主机提供服务在启动后运行/sbin/gabconfig c x可以适用于RAC/CFS环境1.1.32如何停止一个HBA卡上的I/O（用于升级微码）列出主机所有的控制器# vxdmpadm listctlr allTo disable a controller, use the following command:# vxdmpadm disable ctlr=1.1.33如何更换一个HBA卡列出主机所有的控制器# vxdmpadm listctlr allTo disable a controller, use the following command:# vxdmpadm disable ctlr=rmdev dl删除HBA卡的磁盘cfgmgr识别磁盘vxdmpadm enable ctlr=1.1.34如何添加一个oracle使用的裸设备# vxassist -g make # vxedit -g set user=oracle group=dba mode=660 例如# vxassist -g hbora1dg make orasrvvol 300m# vxedit -g hbora1dg set user=oracle group=dba mode=660 orasrvvol1.1.35如何停止cluster软件由于当前配置中oracle服务和listener服务都不由cluster软件控制，当需要停止 cluster软件时，需要手工先停止oracle服务和listener服务，然后才能使用hastop all命令停止 cluster软件，同时archive log的目录会被停止，disk group会被deport。1.1.36如何手工import disk group并启动volume注:缺省情况下建议使用cluster软件来启动和停止disk group,cluster软件自动启动时会自动启动disk group,停止时会自动停disk group。可以先使用vxdisk o alldgs list查看所有磁盘和disk group,其中带()的disk group表明是没有import进来的disk group,这些disk group可以使用如下命令手工import启动cluster disk groupvxdg s import vxrecover sb然后如果有cluster文件系统就启动cluster文件系统mount V vxfs o cluster /dev/vx/dsk/ 启动普通的disk groupvxdg import vxrecover sb然后如果有普通文件系统就启动文件系统mount V vxfs /dev/vx/dsk/ 1.1.37如何手工deport disk group确定disk group上的mount点都umount掉后,可以使用如下命令:对cluster和普通的文件系统，都是如下命令:umount 确认应用不在,然后使用如下命令对cluster disk group和普通disk group都一致：vxdg deport 2 图形界面简介以下以操作示例进行介绍2.1 cluster图形界面cluster的操作界面是:xwindows下可以使用haguiwindows下可以使用安装的java cluster administrator两个界面一样选择要连接的cluster主机选择用户名和密码，缺省是admin和password先看到整个 cluster的状态，可以看到哪个服务组在哪台主机上启动点击 service group可以看到服务组的依赖状态，图中表示RAC数据库的服务组依赖底层cvm的服务组点击具体的服务组可以看到资源的状态点击Resource可以看到资源的依赖状态蓝色表明资源在线，灰色表示资源停止如上图中显示了ysdb_lstener依赖于ysdb_oracle服务;当服务组启动时，oracle会先启动，然后再启动listener;当服务组停止时，listener会先停止，然后再停止oracle在服务组上点击右键可以进行