1、建立共享存储磁盘主机操作系统：windos7 64bitVmware 版本：10.0.2 build-1744117创建共享磁盘先提前创建一个存放共享磁盘目录的文件夹本例为：G:wangdm11gsharedisk进入 vmware 软件的安装目录(本例 vmware 安装在 e:Program Filesvmware)，找到 vmware-vdiskmanager.exe 程序，创建 4 个共享磁盘，3 个 1G 给 OCR 和VOTE DISK，1 个 20G 的用于存放数据，如下图表示创建成功。E:Program Filesvmwarevmware-vdiskmanager.exe -c
2、 -s 1024m -a lsilogic -t 2 “G:wangdm11gsharediskocrdisk01.vmdk“VixDiskLib: Invalid configuration file parameter. Failed to read configurationfile.Creating disk G:wangdm11gsharediskocrdisk01.vmdkCreate: 100% done.Virtual disk creation successful.E:Program Filesvmwarevmware-vdiskmanager.exe -c -s 1024
3、m -a lsilogic -t 2 “G:wangdm11gsharediskocrdisk02.vmdk“VixDiskLib: Invalid configuration file parameter. Failed to read configurationfile.Creating disk G:wangdm11gsharediskocrdisk02.vmdkCreate: 100% done.Virtual disk creation successful.E:Program Filesvmwarevmware-vdiskmanager.exe -c -s 1024m -a lsi
4、logic -t 2 “G:wangdm11gsharediskocrdisk03.vmdk“VixDiskLib: Invalid configuration file parameter. Failed to read configurationfile.Creating disk G:wangdm11gsharediskocrdisk03.vmdkCreate: 100% done.Virtual disk creation successful.E:Program Filesvmwarevmware-vdiskmanager.exe -c -s 20480m -a lsilogic -
5、t 2 “G:wangdm11gsharediskdata01.vmdk“VixDiskLib: Invalid configuration file parameter. Failed to read configurationfile.Creating disk G:wangdm11gsharediskdata01.vmdkCreate: 100% done.Virtual disk creation successful.E:Program Filesvmwarevmware-vdiskmanager.exe -c -s 20480m -a lsilogic -t 2 “G:wangdm
6、11gsharediskdata02.vmdk“VixDiskLib: Invalid configuration file parameter. Failed to read configurationfile.Creating disk G:wangdm11gsharediskdata02.vmdkCreate: 100% done.Virtual disk creation successful.虚拟共享磁盘加入 vmware 主机通过 vmware 主界面添加磁盘，注意选择磁盘的时候必须选择“Use an existing virtual disk”，同时主备机设置必须保持一致，特别是
7、磁盘的顺序千万别搞错了，下面以添加一块共享磁盘为例，仅供参考。上图点击下步后，在下图中选择前面我们创建的共享磁盘上图点击“完成 ”后，会出来如下提示，我们选择 “保持现有格式”上图操作完成后我们点击“OK” 按钮，然后回到 vmware 的主页面，切记集群的每个节点都按以上同样的步骤添加。添加完成后再依次添加其它的共享磁盘，方法类似。待所每个节点都按以上方法依顺序添加磁盘后，在每个共享磁盘的高级设置中，将“虚拟设备节点 (V)”调整为 “SCSI 1:X 磁盘(SCSI)”，如下图然后点击 OK，切记是每个节点的每个共享存储都要调整，否则 oracle 11g 集群安装会存在问题。注意：由于我
8、们此处建立的是共享磁盘，所以需要为这些共享磁盘选择一个单独的通道 SCSI 1，不能与本地磁盘通道共用通道，否则共享磁盘无法创建成功。修改完成后如下图所示然后进入每个虚拟机节点存放目录找到后辍为.vmx 的文件，确保文件内容中增加的共享磁盘配置类似于以下配置，如果不一致需要修改disk.locking = “false“ diskLib.dataCacheMaxSize = “0“ diskLib.dataCacheMaxReadAheadSize = “0“ diskLib.DataCacheMinReadAheadSize = “0“ diskLib.dataCachePageSize =
9、 “4096“ diskLib.maxUnsyncedWrites = “0“ scsi1.sharedBus = “virtual“ scsi1.present = “TRUE“ scsi1.virtualDev = “lsilogic“ scsi1:1.present = “TRUE“scsi1:1.fileName = “G:wangdm11gsharediskdata01.vmdk“scsi1:1.deviceType = “disk“scsi1:2.present = “TRUE“scsi1:2.fileName = “G:wangdm11gsharediskdata02.vmdk“
10、scsi1:2.deviceType = “disk“scsi1:3.present = “TRUE“scsi1:3.fileName = “G:wangdm11gsharediskocrdisk01.vmdk“scsi1:3.deviceType = “disk“scsi1:4.present = “TRUE“scsi1:4.fileName = “G:wangdm11gsharediskocrdisk02.vmdk“scsi1:4.deviceType = “disk“scsi1:5.present = “TRUE“scsi1:5.fileName = “G:wangdm11gshared
11、iskocrdisk03.vmdk“scsi1:5.deviceType = “disk“disk.EnableUUID = “TRUE“修改完成后重启服务器，然后我们通过 fdisk l 命令我们可以在每个节点中看到共享磁盘信息，至此共享磁盘创建完毕。数据库的安装环境描述系统描述环境：redhat 6.4-x86-64 + oracle 11R2(11.2.0.4.0)说明：Red Hat Enterprise Linux Server release 6.4 (Santiago)虚拟机版本：10.0.2 build-1744117口令：本次实验过程中，所涉及的所有操作系统口令均为 orac
12、le，所有数据库及 ASM 口令均为 oracle123网络描述Oracle RAC Node 1 - (rac1)Device IP Address Subnet Gateway Purpose eht0 192.168.52.111 255.255.255.0 192.168.52.1 Connects node01 to the public network eht1 10.10.10.1 255.255.255.0 Connects node01 (interconnect) to node02 (node02-priv) /etc/hosts127.0.0.1 localhost19
13、2.168.52.111 node01192.168.52.112 node02192.168.52.113 node01-vip192.168.52.114 node02-vip10.10.10.1 node01-priv10.10.10.2 node02-priv192.168.52.115 node-scanOracle RAC Node 2 - (rac2)Device IP Address Subnet Gateway Purpose eht0 192.168.52.112 255.255.255.0 192.168.52.1 Connects node02 to the publi
14、c network eht1 10.10.10.2 255.255.255.0 Connects node02 (interconnect) to node01 (node01-priv) /etc/hosts127.0.0.1 localhost192.168.52.111 node01192.168.52.112 node02192.168.52.113 node01-vip192.168.52.114 node02-vip10.10.10.1 node01-priv10.10.10.2 node02-priv192.168.52.115 node-scan共享磁盘分配磁盘 设备名称 大小
15、 类型 用途/dev/sdb /dev/asmdisk1/dev/sdc /dev/asmdisk2/dev/sdd /dev/asmdisk31G ocr 和 votedisk/dev/sde /dev/asmdisk4 20G共享磁盘data/dev/sdf /dev/asmdisk5安装前准备硬件要求安装Oracle 11gR2对硬件有一些要求，如下：每个节点至少2.5GB物理内存(建议3G) 根据下表设置Swap 分区大小：/tmp至少1GB可用空间 CPU主频2.0G 以上硬盘转速7200转以上(建议使用 scsi硬盘) 软件要求Linux x86 (32-bit) System R
16、equirementsLinux Distribution Requirements Red Hat Enterprise Linux Distributions Red Hat Enterprise Linux 4 Update 7, kernel 2.6.9 or later Red Hat Enterprise Linux 5 Update 2, kernel 2.6.18 or late 或者比列出的版本更高。安装软件包安装 oracle 11g 所需要的软件包，但是不同的操作系统，需要的软件包不同：Item Requirement 、Asianux Server 3, Oracle
17、Linux 5, and Red Hat Enterprise Linux 5 The following packages (or later versions) must be installed: binutils-2.17.50.0.6 compat-libstdc+-33-3.2.3 elfutils-libelf-0.125 elfutils-libelf-devel-0.125 elfutils-libelf-devel-static-0.125 gcc-4.1.2 gcc-c+-4.1.2 glibc-2.5-24 glibc-common-2.5 glibc-devel-2.
18、5 glibc-headers-2.5 kernel-headers-2.6.18 ksh-20060214 libaio-0.3.106 libaio-devel-0.3.106 libgcc-4.1.2 libgomp-4.1.2 libstdc+-4.1.2 libstdc+-devel-4.1.2 make-3.81 sysstat-7.0.2 unixODBC-2.2.11 unixODBC-devel-2.2.11 pdksh-5.2.14-37.el5_8.1.x86_64libcap-2.16-5.5.el6.x86_64查看软件包是否已经安装，用命令：rpm -qa|grep
19、 compat 查看软件包都是哪个版本的，版本只能高于上述，不能低于。上传没有的包，安装：rpm -ivh *.rpm关闭防火墙和 selinux关闭服务端和客户端系统防火墙和 selinux，然后需要重启机器停止系统停火墙chkconfig iptables off;service iptables stop;关闭 selinuxvi /etc/selinux/configSELINUX=disabled停止不必要的服务chkconfig iscsi off;chkconfig iscsid off;chkconfig ip6tables off;chkconfig xinetd off;c
20、hkconfig bluetooth off;chkconfig iptables off;设置系统参数Oracle 数据库 11gR2 需要以下所示的内核参数设置。其中给出的是最小值，因此如果您的系统使用的值较大，则不要更改它。切换到root用户: su rootConfiguring Kernel Parameters 修改/etc/sysctl.conf(vi /etc/sysctl.conf), 直接运行以下脚本就 OKcat/etc/sysctl.conf/etc/pam.d/login/etc/security/limits.conf/etc/profile/etc/rc.loca
21、lgrid 集群组件的安装grid 用户配置主机 SSH 互信( 可以不配置，在安装的时候由grid 用户自动生成等效)注：此文中采用 GRID 安装过程中自动配置 SSH 互信，以下流程可以忽略，仅供参考。在 clusterware (CRS) 和rac Database 安装过程中， Oracle Universal Installer (OUI) 必须能够以 grid的身份自动将软件复制到所有rac节点。这里我们通过配置 ssh 让 grid 用户拥有不输入密码即可访问各节点的能力。首先两个节点间互 ping ，要确保都是通的rootrac1 # ping 10.80.10.21 （此I
22、P 为节点二私有 IP）rootrac1 # ping 10.70.10.21 （此 IP 为节点二 Public IP）rootrac2 # ping 10.80.10.20 （此IP 为节点一私有 IP）rootrac2 # ping 10.70.10.20 （此 IP 为节点一 Public IP）要建立用户等效性，需要在两个节点上以 grid 用户身份生成用户的公钥和私钥。首先在 node1 执行rootrac1 # su - gridgridrac1 $ rm -r /.sshrm: cannot remove /home/grid/.ssh: No such file or dir
23、ectorygridrac1 $ mkdir /.sshgridrac1 $ chmod 700 /.sshgridrac1 $ /usr/bin/ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/grid/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved
24、in /home/grid/.ssh/id_rsa.Your public key has been saved in /home/grid/.ssh/id_rsa.pub.The key fingerprint is:c9:30:85:da:88:d7:11:8f:74:bc:98:9e:fe:05:07:13 gridrac1The keys randomart image is:+- RSA 2048-+| o+E | .o= | . =+. | . + =+.+ | . . .S . | o o | . . | . . | |+-+gridrac1 $ /usr/bin/ssh-key
25、gen -t dsaGenerating public/private dsa key pair.Enter file in which to save the key (/home/grid/.ssh/id_dsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/grid/.ssh/id_dsa.Your public key has been saved in /home/grid/.ssh/id_ds
26、a.pub.The key fingerprint is:bb:14:3f:ad:5b:29:0a:35:99:ad:c8:8e:1b:e8:70:63 gridrac1The keys randomart image is:+- DSA 1024-+| | | | + | S . | . . o * . . |. E . + + + + | = . + o o = | . o o o. |+-+然后转 node2 执行rootrac2 # su - gridgridrac2 $ rm -r /.sshrm: cannot remove /home/grid/.ssh: No such fil
27、e or directorygridrac2 $ mkdir /.sshgridrac2 $ chmod 700 /.sshgridrac2 $ /usr/bin/ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/grid/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has bee
28、n saved in /home/grid/.ssh/id_rsa.Your public key has been saved in /home/grid/.ssh/id_rsa.pub.The key fingerprint is:e2:1c:f5:97:3e:57:49:a9:ec:c9:3d:17:67:2f:23:3b gridrac2The keys randomart image is:+- RSA 2048-+| | .| . o | . . o .| o S . oo o+| o o oo oo+| o +oo| E= oo| |+-+gridrac2 $ /usr/bin/
29、ssh-keygen -t dsaGenerating public/private dsa key pair.Enter file in which to save the key (/home/grid/.ssh/id_dsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/grid/.ssh/id_dsa.Your public key has been saved in /home/grid/.ss
30、h/id_dsa.pub.The key fingerprint is:f2:a8:5f:d5:d7:d9:dd:25:b7:8c:03:8b:ed:1f:da:08 gridrac2The keys randomart image is:+- DSA 1024-+| | | . . o| o.o o+B| . So.o.+=| + | . oE . . | . . . = . | . o o |+-+切换回 node1，接着执行gridrac1 $ cat /.ssh/id_rsa.pub /.ssh/authorized_keysgridrac1 $ cat /.ssh/id_dsa.pu
31、b /.ssh/authorized_keysgridrac1 $ ssh rac2 cat /.ssh/id_dsa.pub /.ssh/authorized_keysThe authenticity of host rac2 (10.70.10.21) cant be established.RSA key fingerprint is 4a:98:37:c5:fc:7d:c1:38:e5:7c:b0:bf:50:bc:f4:6d.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently a
32、dded rac2,10.70.10.21 (RSA) to the list of known hosts.gridrac2s password: gridrac1 $ ssh rac2 cat /.ssh/id_rsa.pub /.ssh/authorized_keysgridrac2s password: gridrac1 $ scp /.ssh/authorized_keys rac2:/.ssh/gridrac2s password: authorized_keys 100% 2970 2.9KB/s 00:00 gridrac1 $两机相互执行，看看是否还需要输入密码，如果不需要输
33、入密码那么确认互信创建成功。ssh rac1-priv date;ssh rac2-priv date;ssh rac1 date;ssh rac2 date;安装 grid software用 grid 用户上传 p13390677_112040_Linux-x86-64_3of7 软件包，11.2.0.4 共三个安装包，第三个包为 grid 安装包前两个包为数据库安装包，然后解压软件包# unzip p13390677_112040_Linux-x86-64_3of7解压后为生成一个 grid 目录，安装程序就在此目录中理解和使用 CVU root 用户操作使用Red Hat Linux,
34、必须安装cvuqdisk 包，否则CVU不能发现共享磁盘, 同时运行CVU时收到错误信息“Package cvuqdisk not installed“。cvuqdisk RPM在目录grid/rpm，安装完Oracle Clusterware后在目录crs_home/rpm。在每个节点上以 root 用户登录，检查是否安装过该包：# rpm -qi cvuqdisk 删除已有包:# rpm -e cvuqdisk 设置环境变量# CVUQDISK_GRP=dba; export CVUQDISK_GRP 切换当前目录到解压的Oracle Clusterware文件安装包目录：# cd /ho
35、me/grid/grid/rpm 安装cvuqdisk 包：# rpm -iv cvuqdisk-1.0.9-1.rpm grid操作CVU是ORACLE11G群集软件在解开的安装路径下提供的一个辅助工具，此工具在进行每部分的安装前都会进行相应的检测，并输出检测结果，如果检测没有通过，往往下面的安装也不会成功。此文件最终路径为/grid/runcluvfy.sh。(1) 安装CRS 前的检测（进入文件的最终路径下执行，检测节点是否可以相互到达）gridnode01 grid$ ./runcluvfy.sh stage -pre crsinst -n node01,node02 -fixup -
36、verbose /home/grid/CVU-cvu-20131225.log 此命令会进行很多检测，包括各种补丁包，对于一些没有 failed 的补丁检测有些是可以忽略的，但是如果最终提示的意思为：无法到达节点，则需要重新检测 HA 对网卡的配置，否则下面的安装肯定不会成功。(2) CVU 帮助：#./runcluvfy.sh -help: CVU displays detailed CVU command information。Grid 正式安装下面是 Grid Infrastructure 11.2.0.1 的安装过程。以 grid 用户进入对应目录后 (/home/grid/grid
37、)，执行 runInstallergridrac1 grid$ ./runInstaller选择“Skip software updates”点击 NEXT选择“Install and Configure Grid Infrastrcture for a Cluster”单击 Next选择”Advanced Installation”单击 NEXT如下图选择 English 然后点击 NEXT如下所示然后点击 NEXT，SCAN Name 输入/etc/hosts 里面定义好的名字，GNS不要勾选然后点击 NEXT点击 Add 将其它节点的信息加入进来，图中的 ”SSH Connectivit
38、y”也就是自动配置 grid 用户的等效，点击它进入下图界面，输入 grid 操作系统密码点击”Test”按钮，确保测试通过然后点击 NEXT；如果前面没有配置 grid 用户的等效或者测试失败可以点击 Setup 自动配置，提示成功后点击 NEXT。核实公网和私网网卡分配，没有问题后点击 NEXT选择”Oracle Automatic Storage Management(Oracle ASM)”然后点击 NEXT。配置 OCR 和 VOTEDISK 磁盘组，点击“Change Discovery Path”输入我们前面创建的 udev 设备，然后勾上 1,2,3 号磁盘，磁盘组名自定义，冗
39、余模式选择 Normal注意：如果创建用来存放 OCR 和 VOTEDISK 的 ASM 磁盘组，那么External，Normal ，High 三种冗余级别对应的 Failgroup 个数为 1，3，5。也就是说，创建这三种冗余级别的磁盘组至少需要 1，3，5 个 ASM 磁盘组。如果创建用来存放非 OCR 和 VOTEDISK 的 ASM 磁盘组，那么External，Normal ，High 三种冗余级别对应的 Failgroup 个数为 1，2，3。也就是说，创建这三种冗余级别的磁盘组至少需要 1，2，3 个 ASM 磁盘组。设置密码为 oracle123，点击 NEXT，然后提示密码
40、过于简单，直接点击 YES如上图所示我们不采用 IPMI，然后点击 NEXT由于我们只创建了一个 DBA 组所以全部一样，点击 NEXT，然后提示按 ORACLE建议设置组，我们不管直接点击 YES 确认安装路径没有问题后点击 NEXT确认 Inventory Directory 路径没问题后点击 NEXT注意：此处会提示缺少 pdksh-5.2.14-37.el5_8.1.x86_64.rpm 软件包，可这个包在redhat 6.4 介质中是没有的，我是从 redhat 5.8 中找到上传至系统，然后用 ”rpm ivh pdksh-5.2.14-37.el5_8.1.x86_64.rpm -nodeps ”命令安装，安装的时候切记加上-nodeps 参数忽略依赖“ksh-20100621-19.el6.x86_64”包，因为虽然这个包我们已经安装了，可是安装还是一直报错（注意：此包可以忽略） 。此包安装成功后再点击”Check Again”后如下图，所示的错误我们可以忽略因为我们没有安装ASMLIB 和没有配置 DNS 解析服务器。选择“Ignore All”点击 NEXT
