RedHat_linux7_虚拟化+集群安装精简手册范本

RedHat linux 7虚拟化环境集群安装精简手册1、前期准备挂载磁盘/* 通过制作iso，方便后续安装动作，在知识库中应形成iso镜像体系 */dd if=/dev/sr0 of=/app/rh71.isomount -o loop /app/rh71.iso /mnt挂载制作的isomount -loop /dev/sr0 /mnt查看少什么包/* 如果想要是用vgscan指令，系统至少需要安装lvm2包，这个从安装好的系统上查*/rootjttldb1 host5# rpm -qf /sbin/vgscan常用包安装net-tools (ifconfig等用)yum -y install nautilus-open-terminal（ 右键添加terminal）配置yum/* 根据具体挂载的路径和版本调整*/Basename=RHELbaseurl=file:/mntenabled=1 gpgcheck=0 Clustername=RHELbaseurl=file:/mnt/addons/HighAvailabilityenabled=1 gpgcheck=0 配置ipONBOOT=yes单网卡配置多ip（临时添加一个ip，重启后消失，如果想永久拥有，需要配置ifcfg-ens32:0 文件）临时文件取消：ifconfig ens32:0 down网卡绑定1）创建组接口（会生产一个ifcfg-team0）nmcli con add type team con-name team0 ifname team0 config runner:name:activebackupnmcli con del team0 （删除绑定team）2）查看组接口配置nmcli con show3）给组接口添加设备nmcli con add type team-slave con-name team0-port1 ifname enp11s0f0 master team0nmcli con add type team-slave con-name team0-port2 ifname enp16s0f0 master team0nmcli con mod type team-slave con-name team0-port2 ifname enp16s0f0 master team04）配置iprootjttldb2 network-scripts# more ifcfg-team0DEVICE=team0DEVICETYPE=TeamTEAM_CONFIG=runner:name:activebackupBOOTPROTO=nonePREFIX=25DEFROUTE=yesIPV4_FAILURE_FATAL=yesIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_FAILURE_FATAL=noNAME=team0UUID=afa9d1a3-05d8-4cad-af44-fd187c5be16fONBOOT=yes查看网卡状态teamdctl team0 state验证nmcli dev dis eno 断开nmcli dev con eno 连接OS版本查询lsb_release -a需要安装包（yum install redhat-lsb）起停服务systemctl stop firewalldsystemctl start firewalldsystemctl status firewalldsystemctl|grep 是否开机启动systemctl enable XXX 开机启动systemctl disable xxx 开机不启动systemctl status XXX 查看状态关闭防火墙rootlocalhost # systemctl stop firewalldrootlocalhost # systemctl disable firewalld关闭selinuxrootlocalhost # vi /etc/sysconfig/selinux把SELINUX=enforcing改为SELINUX=disabledrootlocalhost # reboot查看#getenforce临时关闭# setenforce 0LVM配置虚机上共享磁盘配置要求磁盘置备：厚置备置零磁盘模式：独立持久在ha1上，创建pv、vg、lv挂载文件系统，在ha2上重启系统即可识别vg信息修改主机名称：linu7通过hostname临时修改主机名，加hostnamectl static修改静态主机名的方式实现永久生效主机名（修改主机名后注意修改hosts）hostnamehostnamectl -static set-hostname linux7-ha2而在linux7之前是没有hostnamectl命令的，永久修改主机名的方式是通过hostname加修改/etc/sysconfig/network文件的方式配置vnc连接rehhat71）安装包yum install tigervnc-server创建一个登录密码：#vncserver2）配置vnccp /lib/systemd/system/vncserver.service /etc/systemd/system/vncserver:1.service替换文件#Type=forking改成 Type=simple3）重启systemdsystemctl daemon-reload4）启动vcnsystemctl start vncserver:1.servicesystemctl status vncserver:1.service永久启动systemctl enable vncserver:1.service5）关闭vncsystemctl stop vncserver:1.service开机不启动systemctl disable vncserver:1.service客户端服务器段需要关闭防火墙，或修改过滤2、oracle静默安装安装必要的包yum install静默安装oracleUNIX_GROUP_NAME=oinstallINVENTORY_LOCATION=/u01/app/oraInventoryORACLE_BASE=/u01/app/oracleDECLINE_SECURITY_UPDATES=true执行静默安装软件./runInstaller -silent -ignoreSysPrereqs -ignorePrereq -showProgress -responseFile /oracle/database/response/db_install.rsp执行静默安装数据库（在dbca.rsp中添加实例名称）dbca -silent -responseFile /oracle/database/response/dbca.rsp对数据库做必要的调整3、linux7 vmware下ha安装调试-pacemaker取代rgmanagerssh 双机信任配置1）在两个节点上生产证书# ssh-keygen -t rsa注意：在程序提示输入passphrase时直接输入回车，表示无证书密码。上述命令将生成私钥证书id_rsa和公钥证书id_rsa.pub，存放在用户家目录的.ssh子目录中。2）查看/.ssh生成密钥的文件# cd /.ssh3）建立两个节点的信任关系（两个节点互相传一下证书文件，并改名称）# scp -r id_rsa.pub 主机1:/root/.ssh/authorized_keys#scp -r id_rsa.pub 主机2:/root/.ssh/authorized_keys安装HA必要安装包yum install pacemaker* yum install pcs*corosync*/* 系统常用的一些编译环境等包，系统安装时可能都已经安装了*/yum -y install gcc gcc-c+ libstdc+-devel flex kernel-devel启动PCSD服务systemctl start pcsd.service systemctl status pcsd.servicesystemctl enable pcsd.service设置集群认证用户hacluster for i in 1 2; do ssh ha$i echo admin | passwd -stdin hacluster; done或在两个节点运行：passwd haclusteradmin添加授权#pcs cluster auth ha1 ha2 （在一个节点上执行就可以了）创建集群#pcs cluster setup -name lion ha1 ha2开启集群并随机启动rootlinux7-ha1 /# pcs cluster start -allrootlinux7-ha1 /# pcs cluster enable -all查看集群状态rootlinux7-ha1 /# pcs status 仲裁设置linux7模式下，双节点仲裁自动添加，不需要设置，需要改默认配置rootha1 # pcs property set no-quorum-policy=ignore（说明）fence设置/* 不设置fence设备可以完成集群的配置，但是会导致异常场景下双节点同时使用资源，对于如数据库资源来说，会造成数据库损坏，无法打开*/模式一：不使用fence rootha1 # pcs property set stonith-enabled=false模式二：使用fencepcs property set stonith-enabled=true /* 开启stonith */pcs stonith list /* 查看系统支持的fence类型*/1）对于虚拟机fence（使用fence_vmware_soap 类型）检测fence设备状态 是是exsi2主机 用户名和密码也是esxi主机的 status 改成reboot 测试是否重启 */fence_vmware_soap -a esxi1 -z -n ha1 -o status -ssl-insecure -l root -p 1234qwerasd fence_vmware_soap -a esxi2 -z -n ha2 -o status -ssl-insecure -l root -p 1234qwerasd添加fence资源pcs stonith create fence_vmware_ha1 fence_vmware_soap login=root passwd=1qaz2wsx action=reboot pcmk_host_map=ha1:423cbe32-5e0d-fded-fde5-6c4d2cac47c2;ha2:423c98c4-23c5-dd46-67e2-9ce2f03c243f pcmk_host_list=ha1 pcmk_host_check=static-list power_wait=3 op monitor pcs stonith create fence_vmware_ha2 fence_vmware_soap login=root passwd=1qaz2wsx action=reboot pcmk_host_map=ha1:423cbe32-5e0d-fded-fde5-6c4d2cac47c2;ha2:423c98c4-23c5-dd46-67e2-9ce2f03c243f pcmk_host_list=ha2 pcmk_host_check=static-list power_wait=3 op monitorinterval=60s虚拟机ha1和ha2的uuid的查找方法：添加资源添加浮动ip，并加入资源组cidr_netmask=24 op monitor interval=30s -group orasrv添加lvm信息并加入组：修改/etc/lvm/lvm.confuse_lvmetad = 0volume_list = rhel （把非集群的vg添加进去）#dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r) （必须重启操作系统，使其生效）添加vg#pcs resource create my_lvm LVM volgrpname=datavg exclusive=true -group orasrv添加文件系统：（排他锁模式）rootz1 # pcs resource create my_fs Filesystem device=/dev/datavg/datalv directory=/oracle fstype=ext3 -group orasrvoracle添加下载脚本，并拷贝至路径/usr/lib/ocf/resource.d/heartbeat/添加实例添加监听资源集群粘性/*防止节点恢复后自动回迁，经验证，如不设置，当主节点恢复后集群会自动回迁, 资源粘性表示资源是否倾向于留在当前节点，如果为正整数，表示倾向，负数则会离开，-inf表示负无穷，inf表示正无穷。*/pcs resource defaults resource-stickiness=100 */集群资源异常时的切换策略集群故障迁移策略迁移 /* 关于切换策略，默认是无限大，即集群应用出故障后不切换，我们调整为1，表示当应用出现一次故障，比如手工kill 监听，节点应用会整体迁移至节点2 */pcs resource defaults migration-threshold=1高可用测试1）通过standby做节点切换rootha1 # pcs cluster standby ha22）查看集群状态rootha1 # pcs status3）重新使ha2上线(默认配置并不回切)rootha1 # pcs cluster unstandby ha24）只停止包，不切换rootha1 #pcs resource disable 资源组5）另外一个切换命令（会产生constraint，不建议用，需要用clear清constraint）pcs resource move 资源组名pcs resource clear 资源组名集群常用命令pcs propertypcs resource defaults /*资源默认设置*/pcs statuspcs status clusterpcs status corosyncpcs property list -allpcs cluster verify -V /*检查集群配置是否正常*/pcs resource list ocfpcs resource describe ocf:heartbeat:IPaddr2 /* 添加资源的时候很有用*/pcs stonith describe fence_vmware_soap /* 添加fence的时候很有用*/pcs resource standardspcs resource delete my_fspcs resource cleanup my_fs /*清理资源失败历史信息*/pcs resource defaults target-role=Started pcs resource defaults is-managed=true pcs resource manage orasrv pcs cluster cib /*查看xml配置文件*/pcs resource defaults resource-stickiness=100 /*防止节点恢复后自动回迁*/pcs stonith list /*查看系统支持的fence设备*/pcs cluster destroy /*删除集群*/HA知识描述配置集群后，集群的关闭顺序（如果没有通过指令调整），从下至上，（即先停数据库监听、再停数据库、再卸载文件系统、再关闭vg、再停掉浮动ip）集群的启动顺序则正好相反资源添加过程要做对顺序。所有ha参考自文档主要来自Red_Hat_Enterprise_Linux-7-High_Availability_Add-On_Administration-en-US.pdfRed_Hat_Enterprise_Linux-7-High_Availability_Add-On_Reference-en-US.pdf以及网络linux7、centos7 集群安装文档。单机挂载单机挂载1、pcs cluster stop all 停集群2、集群环境出问题以后，为了单机挂载磁盘，需要调整/etc/lvm/lvm.cof如想挂载/dev/datavg，可以把这个vg加入配置如下volume_list = rhel ,datavg 3、vgchange -a y /dev/datavg4、mount恢复集群：1、 umount 2、 vgchange a n datavg3、 pcs cluster start all13 / 13