使用crsctl 命令来检查CRS资源状态
#./crsctl status resource -t
GI（grid Infrastructure）在ASM下固定的三种类型的文件存在
Oracle集群的注册文件 OCR
表决文件 VOTE File
ASM实例的共享SPFILE文件
11g R2在高可用性方面增加了两个新的数据库类型：
Restart Database
Rac one Node Database
RAC的瓶颈在于 Cache Fusion会消耗大量服务器间的是有网络资源。
方案：支持服务器添加多个网卡组成使用网络，提高使用网络的带宽。
11.2.0.2 Clusterware之前，隔离特性是 “fast reboot” 即立即重启，不等待任何事件的完成。
11.2.0.2 Clusterware中，会要求集群中的组件不必引起节点的立即隔离（重启），而是会先尝试对集群中失败的组件做一次清理工作，即重启失败的组件。如果清理失败的组件未成功，为了强制清理在执行节点的重启。
当提出一个节点时，Clusterware会首先尝试关闭该节点的所有资源，特别是将产生的I/O的进程杀掉，在继续操作之前确保这IE进程被完全停止，如果因为某些原因不是所有的资源都被停止，或者产生的I/O的进程没有完全地被停止，Clusterware能然会执行一个重启操作，或者使用IPMI从集群中强制提出这个节点。
而当所有资源都能被停止，并且产生的I/O进程全部被杀掉，Clusterware将在各自的节点关闭自己，但被关闭之后将尝试重启。 从Oracle高可用性服务守护进程开始，类似于服务器重启之后执行的启动过程
集群在时间节点中，由于个别节点突然进行时间调整，会导致节点被踢出。那么集群提供了时间同步的的服务
CTSS 对应的OCTSSD (Oracle Cluster Time Synchronization Service Daemon)进程 。在安装的时候只需要确保NTP服务不存在，或没有被使用，CTSS服务将自动被激活。。它是拥有主动性的服务，在有NTP时，便只观察。在没有NTP后，则开始激活状态。
#./crsctl check ctss 确定CTSS所在的模式。
Observer Mode（观察模式）
Active Mode (活动模式)
[grid@]$ cluvfy comp clocksync 验证使用何种时间同步服务方式。（此命令不能在root用户下执行）
[grid@]$ cluvfy comp list 使用cluvfy的帮助。。。。
Clusterware 磁盘文件
Clusterware 集群软件运行需要的磁盘文件包括：OCR(Oracle集群注册表)、Votedisk(表决磁盘)，11gR2新引入的OLR（本地注册表）。
其中OCR与Votedisk 必须存放在共享存储上。
ohasd 启动的时候会使用OLR中的信息。
对于OCR和表决磁盘的ASM磁盘组来说，每个ASM磁盘至少需要1GB的有效存储空间。
表决磁盘的读写都是由ocssd进程完成的
为了提供Clusterware的稳定性，表决磁盘应配置多个，且为奇数。
表决磁盘的任何配置都将自动添加到OCR备份文件中，表决磁盘数据通过CRSCTL攻击自动还原到任何添加的表决磁盘中。
增加表决磁盘(表决磁盘最多可以有15个)
# crsctl add css votedisk
删除表决磁盘
# crsctl delete css votedisk +DATA(在ASM中增加表决磁盘)
如果所有节点上的Oracle Clusterware 都已经关闭，请使用-force选项
# crsctl add css votedisk
# crsctl delete css votedisk -force
在活动状态下 -force 将不可用，且不能加上这个参数。
crsctl add css votedisk path
crsctl delete css votedisk path
EG：# crsctl add css votedisk '/dev/raw/raw/raw3'
将votedisk从磁盘组A1移动到B1
crsctl replace votedisk +B1
注意：备份和恢复 voting disk 在11.2版本中。voting disk 是自动备份在OCR中，如果voting disk损坏，则可以替换或重建voting disk.替换是通过先删除损坏的在增加一个新的voting disk来完成的。voting disk的内容从备份中恢复回来录一个增加一个新的voting disk。
注：可以不用备份voting disk
在ASM中
crsctl start crs -excl
crsctl replace votedisk +ASM_NAME
在文件系统中
crsctl start crs -excl
crsctl delete css votedisk 'path'
crsctl add css votedisk 'path'
其中path是全限定路径。
#crsctl query css votedisk 命令列出当前所使用的表决磁盘，有助于确定要备份的表决磁盘。
11gR2之前备份 表决磁盘命令
dd if=/dev/raw/raw2 of=/oracle/backup/votedisk_0.bak
恢复表决磁盘命令
dd if=/oracle/backup/votedisk0.bak of=/dev/raw/raw2
启动表决磁盘 votedisk
./crsctl start crs
在ASM下添加表决磁盘
创建ASM磁盘组
sql> create diskgroup VOTE normal redundancy disk ‘/dev/asm-diskj’,’/dev/asm-diskk’,’/dev/asm-diskl’ ATTRIBUTE ‘compatible.rdbms’=‘11.2’,‘compatible.asm’ = ‘11.2’;
将表决磁盘更改到ASM磁盘组中
#./crsctl replace votedisk +VOTE
磁盘心跳在表决磁盘中的检测
#./crsctl get css disktimeout
集群注册表（OCR --Oracle Cluster Registry）
OCR最多可以定义五个OCR的位置，且必须有一个在共享磁盘上。
如果其中一个OCR出现损坏，通过使用OCRCONFIG管理工具可以很容易地实现失败OCR文件的联机替换。
OCR ocrconfig工具的使用（ocrcheck/ocrdump共三种管理工具）
查看ocrconfig工具的帮助
[grid@**]$ ocrconfig --help
ocrconfig 工具在使用时会在$ORACLE_HOME/log/HOST_NAME/client/ocrconfig_.log中创建日志文件，需确保grid用户对这个目录有创建的权限。
Oracle通过/etc/oracle/ocr.loc文件中的记录确定OCR文件和镜像文件的存储位置。
# vim /etc/oracle/orc.loc
对RAC执行大的操作之前，都应该对OCR进行一次手动的备份
（自动备份）
4个小时：CRS会保留最后3个副本。
每天结束时:CRS会保留最后2个副本。
每周结束时:CRS会保留最后2个副本。
1、手动备份
先配置备份地址
# ./ocrconfig -backuploc 文件路径名称,可以在当前目录下生成效验的日志文件，来检查备份文件。
注意：在11.2.0.4之前，只有OCR兼容的设备上，这个命令才可以用。
可以将OCR的备份位置调整到OCR兼容的存储设备上。
# ./ocrconfig -manualbackup （手动备份命令）
# ./ocrconfig -showbackup (检查可用的OCR备份)
导出的方法备份
# ./ocrconfig -export /home/grid/ (只能导入到grid用户权限下的目录下)
2、恢复OCR
有两种恢复方法
①、用自动备份的OCR文件；
②、用手动创建的OCR export files文件
1、检查OCR的状态
# ./ocrcheck
# ./ocrconfig -showbackup 检查有效的备份
# ./ocrdump -backupfile 备份路径与名称 (会在当前路径下产生一个文件：ocrdumpfile,查看这个文件，可以验证ocr的信息)
需要先停止所有节点
#/etc/init.d/init.crs stop
#/ocrconfig -restore file_name
--file_name为自动备份的ocr文件路径及名称
恢复后在所有节点启动crs
#/etc/init.d/init.crs start
可以用cluvfy验证ocr是否正确
#cluvfy comp ocr -n all [-verbose]
2、手工备份（逻辑备份）及恢复方法
#./ocrconfig -export 文件路径加自命名称
#./etc/init.d/init.crs stop
让后用./ocrconfig -import 文件路径加自命名称（导出的文件路径及名称）
#./etc/init.d/init.crs start
将手工备份的备份，放到所有节点的本地硬盘上
3、使用cluvfy 验证ocr是否正确。
cluvfy comp ocr -n all [-verbose]
修改OCR配置
当节点关闭或节点的Oracle Clusterware没有运行时，ocrconfig不能修改OCR的配置
1、增加OCR的位置
#./ocrconfig -add NEW_OCR_FILE_NAME
2、迁移OCR到ASM存储
从11.2版本开始OCR可以存储在ASM磁盘组中，ASM兼容属性必须大于等于11.2.0.0
最多可以有5个OCR位置
迁移到磁盘组
#./ocrconfig -add +ASM_DISK_GROUP
3、替换OCR
可以更改已存在的OCR的位置或更改已失效的OCR位置到一个可正常工作的OCR位置
3.1检查OCR的拷贝除了要被替换的OCR
#./ocrcheck （效验）
3.2检查Oracle Clusterware是否正在运行
#./crsctl check cluster -all
3.3指定新位置
#./ocrconfig -replace source_ocr_file - replacement destination_ocr_file
3.4检查已替换的OCR是否在线
#./ocrcheck
4、删除OCR
至少要有一个OCR在线除了要删除的
4.1、检查至少有一个OCR在线除了要删除的
ocrcheck
4.2、删除
ocrconfig -delete ocr_file_name
5、修复OCR在本地节点
在本地节点上Oracle Clusterware 必须停止
[root]#ocrconfig -repair -add new_ocr_file_name
[root]#ocrconfig -repair -delete ocr_file_name
[root]#ocrconfig -repair -replace source_ocr_file -replacement_ dest_ocr_file
重启Oracle Clusterware
6、检查OCR配置的一致性
ocrcheck
本地注册表 OLR
OLR存储着ohasd服务启动时需要的环境信息，当Clusterware安装OCR时，OLR被同时安装和配置。
OLR是被存放在每个节点的
GRID_HOME/cdata/$HOST/backup_xxx.olr