1. <Insert Picture Here>
Avances Clusterware en Oracle 11g Release 2
Valentín Leonard Tabacaru - Presales Technology Consultant
valentin.tabacaru@oracle.com

2. Agenda
• ¿Qué es Oracle Clusterware?
• Instalación Simplificada
• Gestión Sencilla
• Alta Disponibilidad
• Un simple ejemplo
• Licenciamiento
• Preguntas

3. ¿Qué es Oracle Clusterware?
• Oracle Clusterware es:
• una componente vital de Oracle Grid Infrastructure (OGI)
• la mejor alternativa en conjunto con Oracle Automatic Storage Management
• la base para Oracle ASM Cluster File System (ACFS)
• el soporte principal de Oracle Real Application Clusters (RAC)
• una infraestructura en cluster para todo tipo de aplicativos
Node 1 Node 2 Node ... Node n
Oracle RAC Protected
App A
Protected
App B
Oracle ASM / ACFS
Oracle Clusterware
Consolidated Pool of Storage with
Automatic Storage Management (ASM)

4. Oracle Grid Infrastructure
• Oracle Grid Infrastructure (OGI) es el resultado de
• Oracle Clusterware
• Oracle Automatic Storage Management (ASM)
• OGI proporciona infraestructura software (gestión de
almacenamiento, software para cluster), típicamente dedicada
a los Administradores de Sistemas
• A un momento determinado, existe una sola versión de OGI
activa en un entorno
• OGI está disponibles en dos versiones:
1. Grid Infrastructure para un Cluster de Servidores
• Incluye Oracle Clusterware, ASM
2. Grid Infrastructure para un Servidor Autónomo
• Incluye Oracle Restart, ASM

5. Los Objetivos de Oracle Clusterware 11.2
• Introduce Oracle Clusterware como software de infraestructura para
clusters de servidores
• Completamente integrado en la pila software Oracle RAC
• Proporciona beneficios adicionales para entornos en cluster
• Las mejoras exigidas por los clientes se han materializado en las
siguientes áreas:
• Instalación Simplificada
• Gestión Sencilla
• Alta Disponibilidad
• Utilizando Oracle Clusterware, no hace falta tener otro software
más para su cluster de servidores

6. Instalación Simplificada de Oracle Clusterware
1 Instalación Típica, o Avanzada
2 Grid Naming Service y Auto-VIPs
3 Otros chequeos de prerrequisitos y FixUp-Scripts
4 Configuración para sincronización automática del cluster
5 OCR y Voting Disk Files almacenados en Oracle ASM

7. Nue
Instalación Típica, o Avanzada vo
11.2 en

8. Nue
Grid Naming Service y Auto-VIPs vo
11.2 en

9. Nue
Chequeos del Sistema y FixUp Scripts vo
11.2 en

10. Nue
Utilizando los FixUp Scripts vo
11.2 en

11. runfixup.sh – Output

12. Sincronización Automática del Cluster Nue
vo
11.2 en
Oracle Cluster Time Syncronization Service (CTSS)
• La sincronización de los nodos en un cluster de servidores es crucial
• Usualmente, se establece un nodo de referencia, y, a través de NTP,
se puede sincronizar el tiempo en todo el centro de datos
• Como una alternativa, Oracle proporciona Oracle CTSS
• CTSS funciona en 2 modos:
• Observer mode: cuando NTP está instalado en el sistema, CTSS sólo observa
• Active mode: el cluster se sincroniza con el reloj del nodo CTSS master
Node 1 Node 2 Node ... Node n
Oracle Clusterware

13. Nue
OCR / Voting Disk en Oracle ASM vo
11.2 en
Próximo paso
Ya no hay más soporte
Ya no hay más soporte
para dispositivos RAW (en
para dispositivos RAW (en
OUI) – en caso de upgade,
OUI) – en caso de upgade,
soporta dispositivos RAW.
soporta dispositivos RAW.

14. Configuración de ASM

15. Gestión Sencilla de Oracle Clusterware
1 OCR y Voting Files se pueden almacenar en Oracle ASM
2 Comandos “Clusterizados”
3 Gestión de Recursos y del Cluster integrada en EM
4 Gestión de Cluster basada el políticas, y con separación
de deberes
5 Soporte Plug and Play para Grid:
fácil incorporación, extracción y sustitución de nodos

16. Nue
Gestión de OCR en ASM vo
11.2 en
• El OCR se gestiona como un datafile en ASM (nuevo tipo)
• Respecta completamente la configuración de redundancia de
Oracle Data Guard

17. Gestión de Voting Disks en ASM
• A diferencia de OCR, los Voting Files son:
• Ficheros almacenados en los discos ASM seleccionados
• Se usa ‘crsctl’ para especificar un disk group para Voting Disks
• ASM crea automáticamente 1/3/5 Voting Files
• En función de la redundancia establecida: External/Normal/High
• y de los Failure Groups en el Disk Group
• Por defecto, un Failure Group corresponde a un disco Nue
vo
• Nuevo tipo de Failure Group: Quorum Failgroup 11. en
2
• Se mantiene la regla “la mitad más uno” que dice:
• Cada nodo debe alcanzar (v/2)+1 Voting Disks para que no sea
reiniciado (donde v = #Voting Files; comprobación cada segundo)

18. Backup Automático de Ficheros Clusterware
• Ficheros Clusterware gestionados en ASM – permiten copias de
seguridad completamente automáticas:
Nue
vo
• Los Voting Disks están respaldados automáticamente 11.2 en
• Cualquier cambio en el cluster (por ejemplo añadir un
nuevo nodo) inicia un backup de los Voting Files.
• Un solo Voting Disk que falla está recuperado automáticamente
por ASM dentro del Disk Group – no requiere intervención
• Nota: No hay que usar el comando dd jamás para el backup de
Voting Disks!
• Crea automáticamente una copia de seguridad del OCR cada 4 horas
• No obstante, se pueden hacer backups manuales
• SÓLO SI todos los Voting Disks están corruptos o dañados
Y (todas las copias de) el OCR está también corrupto (o no disponible)
ENTONCES se exige intervención manual – ¡El resto es automático!

19. Quedan 2 herramientas: CRSCTL & SRVCTL
1) CRSCTL gestiona todas las operaciones relacionadas con el
cluster(ware)
Uso: crsctl <command> <object> [<options>] command:
enable|disable|config|start|stop|relocate|replace|stat|add|delete|modify
|getperm|setperm|check|set|get|unset|debug|lsmodules|query|pin|unpin
2) SRVCTL gestiona todas las operaciones relacionadas con los
recursos Oracle
Uso: srvctl <command> <object> [<options>] commands:
Objetos:database|instance|service|nodeapps|vip|asm|diskgroup|listener|sr
vpool|server|scan|scan_listener|oc4j|home|filesystem|gns

20. Nue
Comandos „Clusterizados“ vo
11.2 en
[GRID]> crsctl check crs
• Funciona sólo en el nodo local (compatibilidad con versiones
anteriores a 11.2)
• Como novedad en 11.2 hay comandos “clusterizados”. Por ejemplo:
[stbpo56]> crsctl check cluster –n stbpo57
**************************************************************
stbpo57:
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
• Alternativamente: [GRID]> crsctl check cluster -all

21. Nue
EM – Nueva herramienta de gestión vo
11.2 en

22. Nue
EM – Nueva herramienta de gestión vo
11.2 en
• Enterprise Manager Database Control ahora puede gestionar
completamente el cluster de servidores
• Debe tener por lo menos una base de datos ($OH) instalada
• El cluster se puede gestionar sin tener la base de datos funcionando

23. Inventariar los Recursos en Enterprise Manager

24. “Confiar en Compartir Recursos”
Gestión basada en políticas
• La gestión basada en políticas usa los pools de servidores para:
– Permitir asignar dinámicamente la capacidad en función de la necesidad
– Asegurar aislamiento, cuando se impone (“un servidor dedicado en el cluster”)
• Garantiza que las aplicaciones:
– Consiguen los recursos mínimos necesarios (siempre que sea posible)
– No “abusan” de los recursos, perjudicar a otras aplicaciones más importantes
“RACDB” Pool “APPs” Pool
Node 1 Node 2 Node 3 Node 4 Node 5
Protected Protected Protected Protected
App A App B App C Protected App A
AppB Protected
Oracle RAC App C
Oracle AutomaticASM / ACFS
Oracle Storage Management
Oracle Clusterware
Cardinality
Resource based
Consolidated Pool of Storage with management with
Automatic Storage Management (ASM)
without Policies
Policies

25. Nue
Gestión con Separación de Funciones vo
11.2 en
• “Role-separated management” está dirigida a las organizaciones que
imponen gestión separada del cluster, almacenamiento, y base de datos
• Se puede implementar en 2 maneras:
1. Vertical: Usuario (grupo) diferente para cada nivel de la pila software
• ASM proporciona un método aun más granulado, por grupos
• Se impone una planificación atenta, para no superponer las tareas
2. Horizontal: usando el pool de servidores y base de datos gestionada por
políticas
• La instalación por defecto no incluye separación de deberes
Node 1 Node 2 Node ...
Oracle RAC Database(s) DBAn User
Oracle ASM / ACFS ASM User
Oracle Clusterware Grid User

26. Integración EM: Gestión del Pool de Servidores

27. Integración EM: Gestión del Pool de Servidores

28. Alta Disponibilidad con Oracle Clusterware
1 Parches para Oracle Clusterware con interrupción cero
2 Actualización/instalación de software fuera-del-alcance
3 Modelado Avanzado de Recursos para Alta
Disponibilidad
4 Oracle ASM Cluster File System (Oracle ACFS)
5 Nuevo concepto de agente, permite recuperación rápida

29. Oracle Clusterware – Una Solución Completa
• Oracle Clusterware protege las Aplicaciones A, B en los nodos 3 & 4
• Incluso proporciona recursos para la base de datos en RAC sobre 1 & 2
• Ofrece la base para Oracle ACFS (opcional) – todos los datos en ASM
Ya no hace falta usar jamás otro software de terceros para el cluster
Node 1 Node 2 Node 3 Node 4
Oracle RAC Protected
App A
Protected
App B
Oracle ASM / ACFS
Oracle Clusterware
Consolidated Pool of Storage with
Automatic Storage Management (ASM)

30. ¿Por qué existe el HA Framework?
• La mayoría de los clientes usan Oracle Clusterware para
configuraciones RAC
• Cada día hay más clientes interesados en proteger otras
aplicaciones (en un cluster RAC, o totalmente diferente)
• Por lo tanto, Oracle Clusterware proporciona HA para
aplicaciones con:
• Reinicio – en caso de fallo del aplicativo
• Reubicación – en caso de fallo del nodo
• Ejemplos:
• Oracle Clusterware puede proteger:
SAP, Hyperion, TimesTen, Oracle VM y otros Componentes

31. ¿Qué necesitan las aplicaciones?
1. Ubicación en la Red
• Los clientes necesitan una manera de acceder
a la Aplicación, independiente del nodo
2. Dependencias entre componentes
• Los componentes pueden exigir iniciar en un cierto orden
• Los componentes pueden imponer iniciar en función de los
demás
3. Ficheros de configuración
• Las Aplicaciones usualmente necesitan ficheros de
configuración almacenados en disco

32. ¿Qué proporciona Oracle Clusterware?
Nue
vo
11.2 en
1. Recursos VIP
• Proporciona VIPs para Aplicaciones en múltiples redes
2. HA-API y HA-Framework
• Protección para todo tipo de aplicativos con Oracle Clusterware
• Configuración de dependencias avanzada, para modelos de
relaciones entre componentes exigidos por el negocio
• La interfaz permite cambiar – durante la ejecución – la manera
como Oracle Clusterware gestiona las aplicaciones
• Los agentes monitorizan frecuentemente, asegurando una
recuperación instantánea
3. ACFS Nue
vo
11.2 en
• Oracle ASM-based Cluster File System

33. Gestión del Cluster Integrada en EM
Nue
vo
11.2 en

34. <Insert Picture Here>
Un Simple Ejemplo

35. Ejemplo: Fallo de un Servidor Web Apache
Apache Web Server
Application VIP
Scripts Scripts
Oracle Clusterware Oracle Clusterware
Operating System Operating System
Node Node
ACFS for http.conf

36. Ejemplo: Fallo de un Servidor Web Apache
Apache Web Server
Application VIP
Scripts Scripts
Oracle Clusterware Oracle Clusterware
Operating System Operating System
Node Node
ACFS for http.conf

37. El Procedimiento – Análisis y Ejemplo
Fallo de un Servidor Web Apache
1 Crear Action Script Específico para Aplicación, o lo
podemos llamar Agente Individual
2 Crear un Application VIP como recurso para acceder a
la Aplicación
3 Configurar y Registrar la Aplicación con la
infraestructura Oracle Clusterware
4 Comprobar el estado (Start / Stop) de la Aplicación &
Finalizar

38. 1 Ejemplo: Agente de Servidor Web Apache
Crear el Script Específico para la Aplicación (el Agente)
El comando ‘start’
‘start’
• Llamará el comando apache
apachectl –k start
• Hay que considerar el parámetro –f para localizar
el fichero de configuración en el disco compartido
‘check’ El comando ‘check’
• Para asegurarse, prueba la disponibilidad:
• ¿Funciona el proceso httpd?
• ¿Puedo solicitar una página web?
‘stop’ El comando ‘stop’
• Llamará el comando apache
apachectl –k stop
El comando ‘clean’ Nue
‘clean’ vo
• El equivalente de kill apache – en caso que ‘stop’ 11.2 en
no funciona

39. 2 Ejemplo: Agente de Servidor Web Apache
Crear la VIP para acceder a la aplicación
Nue
vo
11.2 en

40. 3 Ejemplo: Agente de Servidor Web Apache
Configurar y Registrar la aplicación: ADD RESOURCE
crsctl add resource MyApache
-type cluster_resource
-attr "ACTION_SCRIPT=/myshared/scripts/myapache.scr,
PLACEMENT=restricted,
SERVER_POOLS=AppsPool,
CHECK_INTERVAL=30,RESTART_ATTEMPTS=1,
START_DEPENDENCIES=hard(ApacheVIP),
STOP_DEPENDENCIES=hard(ApacheVIP)"
• Actualiza el Oracle Cluster Registry (OCR) con toda la
información relevante para gestionar el recurso MyApache.

41. 3 Ejemplo: Agente de Servidor Web Apache
Configurar y Registrar la aplicación: ADD RESOURCE
Nue
vo
11.2 en

42. Gestione sus Propios Recursos Nue
vo
11.2 en
Opciones amplias para establecer dependencias
• Nuevas opciones para Dependencias:
• Hard / Weak
• Attraction / PullUp / Dispersion
• Nota: funcionan para todo el cluster

43. 4 Ejemplo: Agente de Servidor Web Apache
Comprobar el estado de la aplicación (start / stop), y finalizar

44. ACFS – Un lugar compartido para „Cluster-Files“
crsctl add resource MyApache
-type cluster_resource
-attr "ACTION_SCRIPT=/myshared/scripts/myapache.scr,
PLACEMENT=restricted,
SERVER_POOLS=AppsPool,
CHECK_INTERVAL=30,RESTART_ATTEMPTS=1, Nue
vo
START_DEPENDENCIES=hard(ApacheVIP), 11.2 en
STOP_DEPENDENCIES=hard(ApacheVIP)"

45. Action Scripts y Agentes disponibles en la web
http://otn.oracle.com/clusterware
Metalink Note 790189.1 – Oracle Clusterware and Application Failover Management

46. <Insert Picture Here>
Licenciamiento

47. Licenciamiento Oracle Clusterware
Ref.: Oracle Database Licensing Information (Part Number E10594-01)
• Grid Infrastructure se puede instalar y utilizar en cualquier servidor
que cumple con una de las siguientes condiciones:
1. El sistema operativo del servidor tiene soporte contratado
a través del programa Oracle Unbreakable Linux Support.
2. Por lo menos una maquina está licenciada con Oracle Database
Enterprise Edition o Oracle Database Standard Edition.
3. Oracle Clusterware se puede utilizar gratis para proteger un
producto software si cumple con una de las condiciones anteriores,
o si se satisfacen una de las siguientes:
• El producto software protegido es de Oracle
• El producto software protegido usa una base de datos Oracle

48. Sesión de Preguntas
Email: valentin.tabacaru@oracle.com