SQLOracle数据库群集实施方案

南宁海关信息系统基础平台数据库群集实施报告2016年9月13号目录1 MS SQL数据库群集41.1 项目概述41.2 SQL群集拓朴图51.2.1 运行网SQL群集拓朴图51.2.2管理网SQL群集拓朴图61.3 SQL群集配置信息71.3.1 运行网SQL群集配置表71.3.2管理网SQL群集配置81.4 SQL群集安装配置91.4.1 网络配置91.4.2 两台服务器功能及角色安装131.4.3 Win2008集群验证和配置141.4.4 添加MSDTC的集群资源171.4.5添加Framework3.5 SP1功能191.4.6优化网络配置251.5安装SQLServer2008集群271.5.1安装第一个集群节点271.5.2添加第二个集群节点351.5.3 验证SQL2008群集392Oracle RAC高可用群集452.1 项目概述452.2Oracle群集拓朴图452.3 Oracle群集配置信息462.3.1系统及数据库版本462.3.2 主机IP地址462.3.3共享存储配置462.3.4安装目录配置472.4 Oracle RAC安装472.4.1准备系统环境472.4.2Oracle Grid安装502.4.3Oracle RAC软件安装672.4.4安装PSU补丁集792.5创建Oracle RAC数据库802.5Oracle RAC管理及维护952.5.1数据库集群操作952.5.2数据库表空间操作963 MS SQL数据库整合情况列表973.1 运行网SQL集群数据库973.2管理网SQL集群数据库981 MS SQL数据库群集1.1 项目概述目前南宁海关在用数据库主要有SQL 2000, SQL 2005, SQL2008等多个版本，存在单点故障或者资源利用率不均衡的问题。需要向集群化、版本统一化、数据集中的方向整合。根据南宁海关的建设需求，安装配置运行、管理网两个MS SQL数据库群集，数据库版本统一为MS SQL2008，并安装最新补丁集SP3。SQL群集原理图：1.2 SQL群集拓朴图1.2.1 运行网SQL群集拓朴图1.2.2管理网SQL群集拓朴图1.3 SQL群集配置信息1.3.1 运行网SQL群集配置表 划分LV盘LV划分映射服务器备注Q盘 ( 5G )10.31.2.100 RNNSQLC110.31.2.101 RNNSQLC2集群仲裁盘P盘 ( 5G )10.31.2.100 RNNSQLC110.31.2.101 RNNSQLC2集群MSDTC盘I盘 ( 1000G )10.31.2.100 RNNSQLC110.31.2.101 RNNSQLC2SQL 2008集群实例1数据盘J盘 ( 1000G )10.31.2.100 RNNSQLC110.31.2.101 RNNSQLC2SQL 2008集群实例2数据盘 Win2008+SQL2008集群信息服务器Public网络Private网络RNNSQLC1主机10.31.2.100202.202.100.11RNNSQLC2主机10.31.2.101202.202.100.12登录域信息用户：sqlcadmin密码：%TGBnhy6SQL管理员用户使用域用户：sqlcadmin集群信息集群名称RNNSQLC集群IP10.31.2.80MSDTC名称RNNSQLC-DTCMSDTC IP10.31.2.81SQL集群信息 ( 对外访问SQL 数据库信息)SQL集群名称RNNSQLCluster01 / RNNSQLCluster02SQL集群IP10.31.2.82 / 10.31.2.83排序规则Chinese_PRC_BIN / Chinese_PRC_CI_ASSQL 系统管理员帐号，密码域用户：sqlcadmin 密码：%TGBnhy6SQL sa用户密码%TGBnhy6SQL数据库数据存放I盘大小1000G / J盘大小1000G1.3.2管理网SQL群集配置 划分LV盘LV划分映射服务器备注Q盘 ( 5G )10.81.2.100 NNSQLC110.81.2.101 NNSQLC2集群仲裁盘P盘 ( 5G )10.81.2.100 NNSQLC110.81.2.101 NNSQLC2集群MSDTC盘I盘 ( 800G )10.81.2.100 NNSQLC110.81.2.101 NNSQLC2SQL 2008集群实例1数据盘J盘 ( 800G )10.81.2.100 NNSQLC110.81.2.101 NNSQLC2SQL 2008集群实例2数据盘 Win2008+SQL2008集群信息服务器Public网络Private网络NNSQLC1主机10.81.2.100202.202.100.13NNSQLC2主机10.81.2.100202.202.100.14登录域信息用户：sqlcadmin密码：%TGBnhy6SQL管理员用户使用域用户：sqlcadmin集群信息集群名称NNSQLC集群IP10.81.2.80MSDTC名称NNSQLC-DTCMSDTC IP10.81.2.81SQL集群信息 ( 对外访问SQL 数据库信息)SQL集群名称NNSQLCluster01 / NNSQLCluster02SQL集群IP10.81.2.82 / 10.81.2.83实例排序规则Chinese_PRC_CI_AS / Chinese_PRC_CS_AS_WSSQL 系统管理员帐号，密码域用户：sqlcadmin 密码：%TGBnhy6SQL sa用户密码%TGBnhy6SQL数据库数据存放I盘大小800G / J盘大小800G1.4 SQL群集安装配置1.4.1 网络配置安装完成2台数据库服务器的Windows 2008操作系统，并升级系统补丁SP1，并完成注册并激活系统，分别更改主机名并加入域。设置Public网卡地址和DNS解析服务器的IP地址。在Private网卡中高级TCPIP设置中： DNS栏：勾去在DNS在注册此连接地址WINS栏：禁用tcpip上的netbios控制面板-网络连接-高级-高级设置中调整2个网卡的优先级，将Public调高级别。初始并格式化共享存储盘1.4.2 两台服务器功能及角色安装在两台服务器上做以下配置： 添加角色选应用和分布处理组件完成角色后，再添加故障转移集群的角色。（分别在两台服务器上添加服务器功能，选择故障转移群集）1.4.3 Win2008集群验证和配置管理工具-故障转移集群管理-创建一个集群。步骤如下：在管理界面的中间位置，点击验证配置可以选择运行所有测试，也可分类选择，建议运行所有测试检查完毕后，可以点击查看报告，也可以到C:WindowsClusterReports路径下去查建立集群，开始管理工具故障转移集群管理，打开故障转移集群管理单元，在中间位置点击创建一个集群填入集群名称，网络地址1.4.4 添加MSDTC的集群资源添加MSDTC资源的IP添加MSDTC资源的盘，选5G的P盘添加MSDTC资源完成，显示如下：1.4.5添加Framework3.5 SP1功能选择“应用服务器”“添加必需的功能”“下一步”“下一步”选择“分布式事务处理”，建议其它项也都选上。“下一步”选择“稍后为SSL加密选择证书”“下一步”“下一步”“下一步”“安装”1.4.6优化网络配置群集网络，private网络只能用来检测节点是否存活，不允许向客户端提供服务，而public是向客户端提供相应的服务1.5安装SQLServer2008集群1.5.1安装第一个集群节点执行setup.exe，安装新的Sqlserver故障转移集群安装安装程序支持文件“网络绑定顺序”有警告，如果public网络在第一顺序，此警告可忽略，下一步：输入网络名称，程序组件、实例安装在节点的本地磁盘，不要选择共享盘。选择磁盘，下一步：输入IP，要和public网络在一个网段里。设置数据库服务帐户、密码安装完数据库服务应该是联机的1.5.2添加第二个集群节点 安装前把数据库服务和数据库服务所占的磁盘留在第一个节点上，其他的所有的资源都要转移到第二个节点。执行setup.exe，添加第二个集群节点选择实例名称，下一步：1.5.3 验证SQL2008群集第二个节点添加成功，至此sqlserver2008的故障转移群集安装成功完成，可以使用sqlserver2008的客户端 mangerment studio 连接服务器来简单测试一下SQLserver2008集群是否正常。客户端利用ODBC测试SQLServer2008集群能否访问通过以下测试可以发现，当群集在节点1时，我们可以正常访问数据库，当把节点1关机后，群集服务切换到节点2上，我们再次连接数据库服务器，可以正常连接，可以说明，群集功能正常，可以正常切换。将SQL数据库服务切换到第二个节点，测试正常至此MS SQL2008群集顺利安装成功。2 Oracle RAC高可用群集2.1 项目概述 目前南宁海关在用数据库主要有Oracle10g，Oracle11g等多个版本，存在单点故障或者资源利用率不均衡的问题。需要向集群化、版本统一化、数据集中的方向整合。根据南宁海关的建设需求，安装配置对外接入网Oracle11g数据库群集，数据库版本为Oracle11.2.0.4，并安装最新补丁集PSU160419。2.2 Oracle群集拓朴图2.3 Oracle群集配置信息2.3.1系统及数据库版本项目系统版本操作系统Oracle Linux 6.8Oracle CRS群集版本Oracle CRS 11.2.0.4 + PSU160419Oracle RAC数据库版本Oracle 11.2.0.4 RAC + PSU1604192.3.2 主机IP地址项目节点A节点B备注主机名dwrac1dwrac2Grid群集安装启用后不可修改公网IP172.18.68.121172.18.68.122用于系统登录管理，公网IP不会漂移虚拟IP (VIP)172.18.68.101172.18.68.102为数据库对外提供服务连接的IP地址SCAN IP172.18.68.103可用于数据库对外提供服务连接的IP地址私有IP(心跳) 202.202.100.10202.202.100.20负载均衡、冗余。与公网不同网段，不同网络VLAN，或不在同一网络环境2.3.3共享存储配置磁盘标志磁盘大小磁盘组用途系统盘hda574G无系统盘，Oracle Grid、RAC数据库软件diskpowera110GCRSDGOCR镜像磁盘，Vote disk（表决磁盘）用于记录集群节点信息diskpowerb110Gdiskpowerc110Gdiskpowera2500GDATADG（1500G）用于RAC数据库数据存储diskpowerb2500Gdiskpowerc2500Gdiskpowerd1500GFRADGOracle闪回恢复区、Oracle归档日志存放区2.3.4安装目录配置安装目录规划原则：建立/oraclu 文件系统用来安装grid、datbase程序。程序都安装在/u01/app下面，对于grid 与database 分别建立不同的目录，分配不同的权限。其中grid 的ORACLE_BASE 和ORACLE_HOME 建议安装在不同的目录下，具体规划如下：新建 60G lv：oraclulv新建文件系统，挂载点：/oraclugrid base目录：/oraclu/app/grid_base #grid用户的ORACLE_BASEgrid asm 安装目录：/oraclu/app/grid_home #grid 用户的ORACLE_HOME，也即是安装时的software locationOracle base目录：/oraclu/app/oracle #oracle用户的ORACLE_BASE2.4 Oracle RAC安装2.4.1准备系统环境 配置NTP时钟同步1. 配置NTP主机：#vi /etc/ntp.conf#broadcastclientserver 127.127.1.0driftfile /etc/ntp.drifttracefile /etc/ntp.trace启动xntpd守护进程# startsrc -s xntpdxntpd 状态查询 , 使用 #lssrc -ls xntpd刚启动xntpd时, sys peer 为 insane, 表明xntpd还没有完成同步2. 配置NTP客户机：#vi /etc/ntp.confserver 172.30.8.1driftfile /etc/ntp.drifttracefile /etc/ntp.trace启动xntpd守护进程# startsrc -s xntpdxntpd 状态查询 , 使用 #ntpq p 创建组及用户groupadd -A id=501 adms=root oinstallgroupadd -A id=502 adms=root asmadmingroupadd -A id=503 adms=root dbagroupadd -A id=504 adms=root opergroupadd -A id=505 adms=root asmdbagroupadd -A id=506 adms=root asmoperuseradd id=501 pgrp=oinstall groups=dba,asmdba,oper home=/home/oracle oracleuseradd id=502 pgrp=oinstall groups=asmadmin,asmdba,asmoper,oper,dba home=/home/grid grid 用户环境变量设置Grid用户.profileexport ORACLE_SID=+ASM1 export ORACLE_BASE=/oraclu/app/grid_base export ORACLE_HOME=/ oraclu/app/grid_home export GI_BASE=$ORACLE_BASE export GI_HOME=$ORACLE_HOME export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:. umask 022Oracle用户.profileexport ORACLE_BASE=/ oraclu/app/oracle export ORACLE_HOME=/ oraclu/app/oracle/product/11.2.0/db_1 export ORACLE_UNQNAME=orcl export ORACLE_SID=szcport1 export ORA_NLS33=$ORACLE_HOME/nls/admin/data export NLS_DATE_FORMAT=YYYY-MM-DD hh24:mi:ss export LD_LIBRARY_PATH=$ORACLE_HOME/lib32:$ORACLE_HOME/network/lib:. export NLS_LANG=American_America.ZHS16GBK export PATH=$PATH:/usr/ccs/bin:$ORACLE_HOME/bin:/usr/local/bin:$PATH export CLASSPATH=$ORACLE_HOME/jlib:. LIBPATH=$ORACLE_HOME/jdk/jre/bin:$ORACLE_HOME/jdk/jre/bin/classic:$ORACLE_HOME/lib32 export LIBPATHumask 0222.4.2 Oracle Grid安装以grid用户执行runInstaller安装程序选择跳过软件更新选项选择安装、配置Oracle Grid群集选择高级选项加入简体中文环境填写Cluster名称，SCAN名称，端口加入第二个节点信息测试两节点grid用户SSH连通确认公网、私网配置选择ASM自动存储模式根据系统磁盘，选择CRSDG磁盘组相关磁盘 设置Grid群集ASM用户密码显示Oracle Grid用户群组信息显示Grid软件基本目录及主目录显示软件清单存储目录安装程序进行系统校验显示未通过验证选项，可以根据实际情况忽略显示安装配置信息开始安装Grid软件在安装过程中，将软件拷贝到另一个节点，即在一个节点安装即可提示以root用户执行orainstRoot.sh及root.sh脚本以root用户分别在两个节点执行orainstRoot.sh及root.sh, 显示信息如下执行完上述脚本后，安装程序继续配置Grid安装完成，以grid用户执行：crsctl status res t 显示如下信息至此， Grid群集软件安装成功。2.4.3 Oracle RAC软件安装以oracle用户执行runInstaller安装Oracle RAC数据库软件去掉“I wish to receive”选项选择跳过软件更新选项选择仅安装数据库软件将第二个节点勾选上点击SSH Connectivity，验证oracle用户是否能SSH连通SSH连通成功加入简体中文语言选择安装企业版显示oracle软件安装基本目录及主目录显示oracle所属群组开始安装前系统验证根据系统情况，可以忽略无关紧要的选项安装内容概览开始安装Oracle RAC数据库软件安装程序自动将软件拷贝至另一个节点提示以root用户在两个节点执行root.sh执行root.sh结果显示信息如下：至此，Oracle RAC软件安装成功2.4.4安装PSU补丁集当前Oracle官方针对Oracle 11.2.0.4 RAC群集发布的最新PSU补丁集为：p22191577_112040_Linux_X64.zip，将补丁集文件上传到服务器并解压。执行以下语句安装补丁集。以 root 用户执行:$GI_HOME/crs/install/rootcrs.pl -unlock 以 grid 用户执行:$GI_HOME/OPatch/opatch napply -oh $GI_HOME -local /soft/22191577/21948348$GI_HOME/OPatch/opatch napply -oh $GI_HOME -local /soft/22191577/21948355$GI_HOME/OPatch/opatch apply -oh $GI_HOME -local /soft/22191577/21948347以 oracle 用户执行:/soft/22191577/21948348/custom/server/21948348/custom/scripts/prepatch.sh -dbhome $ORACLE_HOME$ORACLE_HOME/OPatch/opatch napply -oh $ORACLE_HOME -local /soft/22191577/21948348/custom/server/21948348$ORACLE_HOME/OPatch/opatch apply -oh $ORACLE_HOME -local /soft/22191577/21948347/soft/22191577/21948348/custom/server/21948348/custom/scripts/postpatch.sh -dbhome $ORACLE_HOME以 root 用户执行:$GI_HOME/rdbms/install/rootadd_rdbms.sh以 root 用户执行:$GI_HOME/crs/install/rootcrs.pl -patch2.5创建Oracle RAC数据库以oracle用户执行dbca创建RAC数据库选择创建RAC数据库选择创建数据库选择自定义数据库输入数据库全局名称szcport, 并点击Select All，选择全部节点暂时不配置企业管理，数据库迁移后再进行配置选择自动管理任务输入数据库sys及system用户密码选择ASM自动存储管理模式，并选择数据存储磁盘组选择闪回恢复区磁盘组选择需安装的Oracle组件根据服务器物理内存，配置数据库SGA及PGA大小选择数据库块大小及输入进程数选择ZHS16GBK简体中文字符集根据业务情况，选择数据库连接模式数据库配置概览选择创建数据库显示数据库配置信息 开始创建数据库完成数据库创建以grid用户执行crsctl status res t查看群集信息至此，数据库创建完成。2.5 Oracle RAC管理及维护2.5.1数据库集群操作操作内容操作指令检查群集运行状态# crsctl status res -t确认所有资源ONLINE，ora.asm资源运行状态为Started，ora.db资源运行状态为Open启动群集及数据库# crsctl start crs分别在rnnora1、rnnora2两个节点执行当主机系统重启，自动启动群集及数据库关闭群集及数据库# crsctl stop crs分别在rnnora1、rnnora2两个节点执行单启动数据库实例# su - grid$ srvctl start instance -d orcl -i orcl1 -o open$ srvctl start instance -d orcl -i orcl2 -o open单关闭数据库实例# su - grid$ srvctl stop instance -d orcl -i orcl1 -o immediate$ srvctl stop instance -d orcl -i orcl2 -o immediate2.5.2数据库表空间操作a. 新建数据表空间SQL create tablespace datafile size autoextend on next maxsize ;b. 扩容表空间数据SQL alter tablespace add datafile size autoextend on next maxsize ;3 MS SQL数据库整合情况列表3.1 运行网SQL集群数据库序号所属实例数据库名1MSSQLSERVER01H2000_IMS_RECV2NnFTAQZ3NnThreeOne_H2000_IMS_RECV_LITE4TestData5MSSQLSERVER02HGTYBS_CUS6HGTYBS_SSO7NnBHEPZ8NnBHTest9NnExhibition10NnExhibition_SSO11NnPXFTZ12NnQZFTZ13NnTest3.2管理网SQL集群数据库序号所属实例数据库名1MSSQLSERVER01NnBMHS_DB2NnBranchGoodsKnowledge 3Nndflz4NnGBCRPSA5NnGBCTESA6Nnhglaw7Nnjjxx8NnMailBox9NnMODI_CLASS_DB10NnQJCC_DATA11NnTaxcase12NnTest13NnXiJiangPlat14NnXWBII15NnXWBII_ADDRESSBOOK16NnXWBII_BBS17ZsEasySite418ZsEasySiteNnhg19MSSQLSERVER02NnGXPTS20NnHP_MID_DB21NnRiskMnl22TestData