1、前言
此文档详细描述了Oracle 11gR2 数据库在AIX上的安装RAC的需求及安装步骤。
参考文档
《Oracle® Real Application Clusters Installation Guide 11g Release 2 (11.2) for Linux and UNIX》
Part Number E10813-06
《Oracle® Database Installation Guide 11g Release 2 (11.2) for IBM AIX on POWER Systems (64-Bit》
Part Number E10854-03
《Oracle® Database Performance Tuning Guide 11g Release 2 (11.2)》Part Number E10821-05
《Oracle® Database Storage Administrator's Guide 11g Release 2 (11.2)》Part Number E10500-04
《Oracle® Grid Infrastructure Installation Guide 11g Release 2 (11.2) for IBM AIX Based Systems》
Part Number E10814-02
2、系统环境
数据库架构
本例中数据库架构为2个节点的RAC集群,使用ASM管理数据文件
操作系统版本
数据库服务器的OS版本是AIX 6.1
3、Oracle安装需求
3.1、OS 配置需求
OS版本
查看系统版本以及否是64位
qdgs:/home/oracle$uname -a
AIX qdgs 1 7 00F7E1D24C00
qdgs:/home/oracle$/usr/bin/getconf HARDWARE_BITMODE
64
PATCHES & PACKAGES
PACKAGE
AIX 6.1 required packages:
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 6.1.2.1 or later
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte (For RAC configurations only)
rsct.compat.clients.rte (For RAC configurations only)
xlC.aix61.rte:10.1.0.0 or later
gpfs.base 3.2.1.8 or later (Only for RAC)
#lslpp -l bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat 6.1.2.1 bos.perf.perfstat bos.perf.proctools rsct.basic.rte rsct.compat.clients.rte xlC.aix61.rte:10.1.0.0 gpfs.base 3.2.1.8
APARS
IZ41855
IZ51456
IZ52319
IZ97457
IZ89165
IV04047 reference note 1264074.1 and Note:1379753.1
检查命令：
＃/usr/sbin/instfix -i -k "IZ41855 IZ51456 IZ52319 IZ97457 IZ89165"
系统中若无patch IZ89165, Patch IZ97457，则按照如下根据系统版本对应patch检查替换patch是否存在。
可替换patch
** Patch IZ89165 **
6100-03 - use AIX APAR IZ89304
6100-04 - use AIX APAR IZ89302
6100-05 - use AIX APAR IZ89300
6100-06 - use AIX APAR IZ89514
** Patch IZ97457 **
6100-04 - use AIX APAR IZ97605
6100-05 - use AIX APAR IZ97457
6100-06 - use AIX APAR IZ96155
JDK&JRE
IBM JDK 1.6.0.00 (64 BIT)
空间需求
RAM minimum 1GB recommended 2GB
TMP at least 1GB
Grid home at least 4.5 GB
Oracle Database home at least 4GB
根据内存设置swap大小:
RAM Swap Space
1G~2G 内存的1.5倍
2G~16G 与内存相等
16G以上 16G
检查系统内存：
qdgs:/home/oracle$/usr/sbin/lsattr -HE -l sys0 -a realmem
attributevalue description user_settable
realmem 25165824 Amount of usable physical memory in Kbytes False
qdgs:/home/oracle$
检查交换分区大小
qdgs:/home/oracle$/usr/sbin/lsps -a
Page Space Physical Volume Volume Group Size %Used Active Auto Type Chksum
hd6 hdisk0 rootvg 16384MB 2 yes yes lv 0
检查磁盘空间
#getconf DISK_SIZE /dev/hdisk[]
qdgs:/home/oracle$getconf DISK_SIZE /dev/hdisk3
511996
检查网卡顺序，网卡主备(注意网卡与ＩＰ对应是否正确)
#ifconfig -a
#lsattr -E -l 网卡名
IP地址要求
每个节点至少两个以上网卡，其中一个是内网网卡，也叫心跳网卡；另一个是公网，对外提供服务。内网绑定172或10开头的ip地址；公网上绑定public ip。另外还需要分配一个vip，与public ip同网段；SCAN IP整个集群只有一个。请参考以下示例：
节点1：
一个公网IP：100.12.98.21
两个私网IP：172.16.2.1 172.16.2.11
一个虚拟IP：100.12.98.23
SCAN_IP：100.12.98.25
节点2：
一个公网IP：100.12.98.27
两个私网IP：172.16.2.3 172.16.2.13
一个虚拟IP：100.12.98.29
SCAN_IP：100.12.98.25
AIX操作系统TCP和UDP参数的修改
在root用户下，执行如下命令：
修改命令:
no -r -o ipqmaxlen=521
no -p -o rfc1323=1
no -p -o sb_max=1500000
no -p -o tcp_recvspace=65536
no -p -o tcp_sendspace=65536
no -p -o udp_recvspace=1351680
no -p -o udp_sendspace=13516
可用/usr/sbin/no -a | fgrep <参数名>来查看参数值
AIX内核参数的修改
查看参数
# /usr/sbin/no -a | fgrep ephemeral
tcp_ephemeral_high = 65500
tcp_ephemeral_low = 9000
udp_ephemeral_high = 65500
udp_ephemeral_low = 9000
修改参数
# /usr/sbin/no -p -o tcp_ephemeral_low=9000 -o tcp_ephemeral_high=65500
# /usr/sbin/no -p -o udp_ephemeral_low=9000 -o udp_ephemeral_high=65500
AIX操作系统内存参数的修改
vmo -p -o minperm%=3
vmo -p -o maxperm%=90
vmo -p -o maxclient%=90
vmo -p -o lru_file_repage=0
vmo -p -o strict_maxclient=1
vmo -p -o strict_maxperm=0
双机对等性认证
配置集群内2个节点的SSH对等性认证
在两个节点分别执行下列两个脚本，脚本位于安装软件解压路径下的grid目录中。
P780-1-VPAR1[/]# find /u01 -name sshUserSetup.sh
/u01/11.2.0/grid/deinstall/sshUserSetup.sh
/u01/11.2.0/grid/oui/prov/resources/scripts/sshUserSetup.sh
#./sshUserSetup.sh -user grid -hosts "bjsczjdb01 bjsczjdb02" -advanced - noPromptPassphrase
#./sshUserSetup.sh -user oracle -hosts " bjsczjdb01 bjsczjdb02" -advanced –noPromptPassphrase
完成互信配置后，分别在各节点使用grid和oracle用户下执行下面的操作 进行
互信的检测
su - grid
date;ssh bjsczjdb01 date
date;ssh bjsczjdb02 date
su - oracle
date;ssh bjsczjdb01 date
date;ssh bjsczjdb02 date
AIX操作系统启用异步IO
AIX 6.1 缺省启用异步IO，无需修改
Oracle数据库系统软件及补丁要求
需要安装的psu版本为11.2.0.3.3，patch id 为：13923374, 13919095
其他
在所有节点的/etc/hosts文件中配置IP与别名，命名规则一般建议为主机名-IP类型。
例如
public IP ：IP地址 hostname
Private IP : IP地址 hostname-priv
VIP : IP 地址 hostname-vip
Scan IP : IP 地址 hostname-scan
#cat /etc/hosts
#hostname
100.12.98.21 bjsczjdb01
100.12.98.27 bjsczjdb02
#oracle_vip
100.12.98.23 bjsczjdb01-vip
100.12.98.29 bjsczjdb02-vip
#oracle_private_ip1
172.16.2.1 bjsczjdb01-prvi1
172.16.2.3 bjsczjdb02-prvi1
#oracle_private_ip2
172.16.2.11 bjsczjdb01-prvi2
172.16.2.13 bjsczjdb02-prvi2
#oracle_scan_ip
100.12.98.25 bjsczjdb01-scan
3.2、存储配置
数据库ASM磁盘设备的划分
使用如下命令对磁盘属性进行修改。 (所有节点都需要执行)
#chmod 660 /dev/rhdisk[]
#chown grid:asmadmin /dev/rhdisk[]
#lsattr -E -l hdisk[] | grep reserve_
如果是reserve_policy则执行下面的操作
#chdev -l hdisk[] -a reserve_policy=no_reserve
如果是reserve_lock
#chdev -l hdisk[] -a reserve_lock=no
清除PVID
#/usr/sbin/chdev -l hdisk[] -a pv=clear
3.3、Oracle安装用户和组设置
创建介质存储路径及解压路径
由于安装介质较多，建议分别创建软件存放及解压路径，示例如下：
数据库安装软件包存储路径
# mkdir -p /u01/sw/db
Oracle psu安装包存储路径
# mkdir -p /u01/sw/psu
新版本的OPATCH安装包存储路径
# mkdir -p /u01/sw/patch
需要安装的rpm包存储路径
# mkdir -p /u01/sw/rpm
# chmod -R 777 /u01/sw
创建用户和组
建立Oracle安装目录组:
mkgroup -'A' id='501' adms='root' oinstall
建立Oracle ASMDBA组：
mkgroup -'A' id='502' adms='root' asmadmin
mkgroup -'A' id='503' adms='root' asmdba
mkgroup -'A' id='504' adms='root' asmoper
mkgroup -'A' id='505' adms='root' dba
建立Grid安装用户grid：
mkuser id='501' pgrp='oinstall' groups='asmadmin,asmdba,asmoper' home='/home/grid' fsize=-1 cpu=-1 data=-1 rss=-1 stack=-1 stack_hard=-1 capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid
passwd grid 密码为oracle123(注意密码设置完成后需要重新登录再次设置才可生效)
建立Oracle安装用户oracle：
mkuser id='502' pgrp='oinstall' groups='dba,asmdba' home='/home/oracle' fsize=-1 cpu=-1 data=-1 rss=-1 stack=-1 stack_hard=-1 capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle
passwd oracle 密码为：xxx,例如：oracle123
注意在创建密码后需要重新登陆再次设置生效
检查创建的用户
# id oracle
uid=502(oracle) gid=501(oinstall) groups=503(asmdba),505(dba)
# id grid
uid=501(grid) gid=501(oinstall)groups=502(asmadmin),503(asmdba),504(asmoper)
检查用户权限
# lsuser -a capabilities grid
grid capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE
<<< 如果没有显示正确则执行
# chuser capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid
# lsuser -a capabilities oracle
oracle capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE
创建安装目录
目录创建示例如下：
Oracle inventory 目录
#mkdir -p /u01/app/oraInventory
#chown -R grid:oinstall /u01/app/oraInventory
#chmod -R 775 /u01/app/oraInventory
Grid Infrastructure BASE 目录
#mkdir -p /u01/app/grid
#chown grid:oinstall /u01/app/grid
#chmod -R 775 /u01/app/grid
Grid Infrastructure Home 目录
#mkdir -p /u01/11.2.0/grid
#chown -R grid:oinstall /u01/11.2.0/grid
#chmod -R 775 /u01/11.2.0/grid
Oracle Base 目录
#mkdir -p /u01/app/oracle
#mkdir /u01/app/oracle/cfgtoollogs
#chown -R oracle:oinstall /u01/app/oracle
#chmod -R 775 /u01/app/oracle
Oracle Rdbms Home 目录
#mkdir -p /u01/app/oracle/product/11.2.0/db_1
#chown -R oracle:oinstall /u01/app/oracle/product/11.2.0/db_1
#chmod -R 775 /u01/app/oracle/product/11.2.0/db_1
3.4、profile文件
创建数据库安装用户grid.profile
.profile文件内容如下：
Node1
umask 022
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/11.2.0/grid
export ORACLE_SID=+ASM1
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:$PATH
export PS1=`hostname`:'$PWD'"$"
Node2
umask 022
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/11.2.0/grid
export ORACLE_SID=+ASM2
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:$PATH
export PS1=`hostname`:'$PWD'"$"
创建数据库安装用户oracle.profile
.profile文件内容如下：集中库136和137节点的.profile信息不一样？
Node1:
umask 022
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
ORACLE_UNQNAME=bjschxsb
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib
export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:$PATH
export PS1=`hostname`:'$PWD'"$"
Node2:
umask 022
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
ORACLE_UNQNAME=bjschxsb
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib
export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:$PATH
export PS1=`hostname`:'$PWD'"$"
注意：以上用户配置信息需要在所有节点进行配置，完成配置后需要重新执行该配置文件使其生效，例如：$ . .profile
4、安装步骤
4.1、安装Grid Infrastructure
以root身份执行(所有节点都执行)
#./rootpre.sh (脚本位于解压后安装包后在生成的grid目录下/u01/app/11.2.0/grid/clone/rootpre.sh
/u01/app/oracle/product/11.2.0/db_1/clone/rootpre.sh哪一个呢？）
$su – grid
$export DISPLAY=172.16.2.100:0.0（安装xmanager映射到本地，进行图形化安装这个IP是本地机器的IP吧？？）
$xclock (检测xmanager配置是否成功)
$./runInstaller
选择skip software updates, 点next
选择Install and Configure Oracle Grid Infrasturecture for a Cluster
选择Advanced Installation
Next
Cluster Name:CLUSTER3
Scan信息必需与/etc/hosts文件中配置一致
SCAN Name: bjsczjdb01-scan
SCAN Port: 1521
点Add将节点二加入集群，输入public hostname:bjsczjdb02
Virtual hostname:bjsczjdb02-vip
公私网选择
选择Oracle ASM管理
选择OCR文件存储位置，如需做冗余，则可安装下例建立OCR_VOTE磁盘组,使用三个盘：/dev/rhdisk6 /dev/rhdisk7 /dev/rhdisk8
选择use Same password for these accounts, 密码为：oracle123
Grid组选择
grid base: /u01/app/grid
Grid Infrastruct Home(ure HomeSoftware location): /u01/11.2.0/grid
选择oraInventory路经：/u01/app/oraInventory
summary
4.2 、安装集群软件的psu
提示以root身份执行脚本orainstRoot.sh 和root.sh时，首先打psu ，后执行脚本。
下载最新的OPatch p6880880_112000_AIX64-5L.zip
#su – grid (所有节点操作)
$unzip p6880880_112000_AIX64-5L.zip –d $ORACLE_HOME
$ORACLE_HOME/OPatch/opatch napply -oh $ORACLE_HOME -local /u01/psu/13696251 （所有节点操作，可并行）
$ORACLE_HOME/OPatch/opatch apply -oh $ORACLE_HOME -local /u01/psu/13696216 （所有节点操作，可并行）
$opatch lsinv 检查补丁是否安装成功
确认安装psu成功后，以root身份在所有节点执行orainstRoot.sh和root.sh脚本。（不可并行）
4.3、安装数据库软件
使用oracle用户安装数据库软件
#su – oracle
$export DISPLAY=172.16.2.100:0.0
$xclock
$./runInstaller
Install_database software only
注意检查加入节点信息是否正确
选择enterprise edition(7.51GB)
确认ORACLE_HOME,ORACLE_BASE路径是否正确
ORACLE_BASE: /u01/app/oracle
ORACLE_HOME: /u01/app/oracle/product/11.2.0/db_1
选择管理组
4.4、安装数据库psu
注意在安装过程中根据提示运行脚本root.sh，先打psu后执行root.sh
#su – oracle（所有节点操作）
$unzip p6880880_112000_AIX64-5L.zip –d $ORACLE_HOME
$unzip p13696251_112030_AIX64-5L.zip –d /u01/psu
注意在psu目录中不能包含除PSU解压文件以外的文件。
$ /u01/psu/13696251/custom/server/13696251/custom/scripts/prepatch.sh -dbhome $ORACLE_HOME
$ORACLE_HOME/OPatch/opatch napply -oh $ORACLE_HOME -local /u01/psu/13696251/custom/server/13696251
$ORACLE_HOME/OPatch/opatch apply -oh $ORACLE_HOME -local /u01/psu/13696216
$/u01/psu/13696251/custom/server/13696251/custom/scripts/postpatch.sh -dbhome $ORACLE_HOME
# /u01/11.2.0/grid/rdbms/install/rootadd_rdbms.sh(以root身份执行)
打完补丁后注意检查：
$opatch lsinv
Psu完成后，以root身份在所有节点按照提示执行root.sh(不可并行)
4.5、配置ASM
使用grid用户创建asm磁盘组
#su – grid
$export DISPLAY=172.16.2.100:0.0
$asmca
点create
DATA 两块磁盘 external AU:4 1T
FLS 一块磁盘 external AU:4 512GB
4.6、创建数据库
使用oracle用户安装数据库
#su – oracle
$export DISPLAY=172.16.2.100:0.0
$xclock
$dbca
选择create a Database
选择custom Database
注意实例名填写正确，选中两个节点（select all）（实例名不超过8位）
根据需求如需安装EM，选择configure Enterprise Manager
选择enable automatic maintenance tasks
建议为所有用户配置相同密码，例如：oracle123
指定数据文件存放位置
根据需求如需开启归档，选择enable archiving,注意此处如不指出归档路径，默认为fast recovery area，大小受限于fast recovery area的大小。如需指明归档路径，选择edit archive mode parameters进行指定。
根据具体需求选择相应组件
关键参数设置
根据具体需求对数据库内存进行设置
连接数Processes：1000
选择字符集：AL32UTF8
默认为Dedicated Server Mode
Summary 查看配置信息
创建实例二：步骤同上
创建完成后检查集群状态
$crsctl status res –t