Présentation du logiciel Open Source BMC Mainview Data Server et exemple de sa mise en oeuvre au sein d'Informatique Banque Populaire par le biais du logiciel STEEDd
2. SOMMAIRE
BMC Mainview Data Server - Synthèse
STEEDd - Mise en œuvre de BMC Mainview Data Server
BMC Mainview Data Server - Synthèse & Mise en oeuvre
3. BMC Mainview Data Server
Synthèse
BMC Mainview Data Server - Synthèse & Mise en oeuvre
4. Mainview Data Server
BMC Mainview Data Server - Schéma
BMC Mainview Data Server - Synthèse & Mise en oeuvre
NVBAPI
MV
Explorer
Server
CAS
CMF,
z/OS,
USS
TCP/IP
VTAM
WAS
TOM
Storage
z/VM
LINUX
VTAM
M
V
T
A
CICS/
AO
DB2/
AO
IMS/
AO
MQ/
AO
Terminal
3270
Mainview
Explorer
z/OS Windows, Linux
LPAR
User
Exit
User
Exit
User
Exit
5. BMC Mainview Data Server - Synthèse
BMC Mainview Data Server - Synthèse & Mise en oeuvre
BMC Mainview Data Server permet un accés simple aux données Mainview par le biais de
mécanismes standard
Il permet de rendre ces mêmes données Mainview immédiatement disponibles aux interfaces
clients
Toute donnée MAINVIEW est disponible au travers du Data Server
Par le biais d’Exit User, les données ainsi collectées par le Data Server pourront être :
Ecrites dans n’importe quel type de SGBD (SQL Server, MS-Access, …)
Ecrites dans n’importe quel type de fichier (CSV, TXT, …)
Transmises à d’autres programmes
Le Data Server ne requiert aucun nouvel Address Space sur le Mainframe
Il s’appuit sur les serveurs Mainview Explorer pré-existant
• Faible overhead induit
Le Data Server est un programme Open Source écrit en Java
S’appuit sur le Package Java Open Source BMC NVBAPI
Peut être exécuté sur n’importe quel système (Windows, Linux, …)
6. BMC Mainview Data Server – Pré-requis & Installation
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Pré-requis :
Host Server
• MVI 4.2 minimum
• Started task Mainview Explorer
Workstation
• SUN Java JRE 1.5 minimum
• ODBC ou JDBC drivers
Installation :
Programme d’installation disponible à l’adresse http://sourceforge.net/projects/mainview-ds/
“Download” puis lancez le programme d’installation ainsi téléchargé
7. BMC Mainview Data Server – Interface d’accueil
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Indicateur
d’activité
Source de
l’horloge
La couleur de
fond indique
le status
Menu d’accés
aux différentes
options
8. BMC Mainview Data Server – Configuration
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Niveau de
Logging désiré
Possibilité de spécifier des classeurs
supplémentaires pour les Exits User
Sélection d’une
catégorie
9. BMC Mainview Data Server – Configuration Ordinateurs hôtes
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Identifiant
attribué au
Serveur Hôte
Numéro de PortAdresse réseau
10. BMC Mainview Data Server – Connexion au Serveur hôte
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Serveur hôte
identifié
Saisie du User Host
Saisie du Password
11. BMC Mainview Data Server – Saisie d’une demande d’enregistrement
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Produits
Partitions
Contextes
Vues
Champs
Exit associé à
la collecte
Champs
sélectionnés
pour être
collectés
Nombre de
lignes à prendre
en compte
Identifiant de
l’Horaire retenu
Définition d’un
Horaire
spécifique
12. BMC Mainview Data Server – Exit
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Code écrit en
BeanShell
(Script Java)
boolean begin()
{
log.fine("ODBC server entered to record view "+product+"."+view);
try {
Class.forName("sun.jdbc.odbc.JdbcOdbcDriver");
} catch (ClassNotFoundException e) {
log.severe("JDBC-ODBC Bridge driver not found");
super.con = null;
return false;
}
try {
super.con = DriverManager.getConnection(url, "admin", "");
super.stmt = con.createStatement();
super.table = product + "_" +view;
super.columns = new Hashtable(20);
DatabaseMetaData dbmd = con.getMetaData();
ResultSet rs = dbmd.getTables(null,null,table,null);
…
Plusieurs exemples
fournis avec
l’installation
13. BMC Mainview Data Server – Demandes d’enregistrement
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Heure de
dernière collecte
Configuration des
demandes
14. BMC Mainview Data Server – Logging
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Une couleur par
niveau de détail
Log de tous les
messages
opérationnels
Plusieurs
fichiers de Log
(Cycliques)
15. STEEDd
Mise en œuvre de BMC Mainview Data Server
BMC Mainview Data Server - Synthèse & Mise en oeuvre
16. Objectif :
Identifier au plus tôt, de manière
automatique et précise, ces situations
afin d’en déterminer la source et
déclencher d’éventuelles actions visant à
en limiter l’impact.
Problématique :
Dans certains cas de figure, un Workload
peut voir sa consommation CPU
augmenter, ou a l’inverse diminuer, de
manière anormale par rapport à son profil
habituellement observé.
Problématique & Objectif
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Début de l’anomalie Détection optimale
Profil habituel
Objectif
Impact de
l’anomalie
17. Solution retenue
BMC Mainview Data Server - Synthèse & Mise en oeuvre
La solution retenue s’appuie sur la technique de contrôle statistique « Statistical Process
Control »
Etablissement d’un Modèle Statistique de référence contenant, pour chaque Domaine retenu,
l’ensemble des valeurs de contrôles calculées à partir d’un historique des valeurs mesurées
Exploitation pour chaque Domaine de Graphes de Contrôle MASF («Multivariate Adaptive
Statistical Filtering») permettant, à partir des valeurs de contrôles précédemment établies,
d’identifier les périodes pouvant être considérées comme « atypique » d’un point de vue
statistique
18. STEEDd : Etablissement du Modèle Statistique
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Les données issues d’un historique sont analysées (Sur une base de 6 mois de données disponibles)
selon la méthode suivante :
Regroupement des données de l’historique de référence selon les Domaines retenus
• Exemple : Jour de la semaine, Heure, Lpar, Workload
Filtrage Statistique par Domaine, afin d’exclure des calculs ultérieurs les données atypiques
Etablissement du Modèle Statistique par calcul des valeurs de contrôle relatives à chaque
Domaine
• LCL (« Lower Control Limit ») = µ - 3σ
• CL (« Center Line ») = µ
• UCL (« Upper Control Limit ») = µ + 3σ
A
Valeurs de contrôle
du Domaine
μ : Moyenne
arithmétique
σ : Ecart-type
19. STEEDd : Collecte et analyse des informations
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Pour chaque Domaine retenu, analyse réalisée via un Exit exécuté par Mainview Data Server, selon
la procédure suivante :
Collecte de la valeur correspondant au dernier intervalle de temps
Exploitation du Graphe de Contrôle pour comparer la valeurs collectée avec les valeurs de
contrôles correspondantes, telles que définies dans le Modèle Statistique de référence
• Si Valeur collectée > UCL ou Valeur collectée < LCL alors Anomalie
Si détection d’une Anomalie alors :
• Estimation de son Impact
• Envoi d’un eMail d’alerte
• Changement de Status du Domaine
B
Détection de
l’anomalie
Impact de
l’anomalie faute
d’intervention
Valeur
collectée
20. STEEDd : Synthèse
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Détection
d’une anomalie
Envoi d’un
eMail d’alerte
Caractérisation
de l’anomalieRéajustement
pour correction
Mainview Data Server
TDSz
Mainview
for z/OS
1
2
3
4
STEEDd Program
STEEDd Exit
Etablissement du
Modèle StatistiqueA
Collecte et
analyse des
informations
B
Modèle
Statistique
21. STEEDd : Case Study - Exception Alert (LPAR Level)
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Exception Alert for LPAR
VP01, Workload Batch,
at 9 PM the 29 of April :
CPU Consumption >
Upper Control Limit
Last Mainview Data
Server collect time
WLM Workload retained
z/OS LPAR monitored
CPU consumption Status
1
22. STEEDd : Case Study - Exception Alert (Workload Level)
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Upper Control Limit
Average
Lower Control Limit
CPU
Consumption >
Upper Control
Limit
Extra Value
observed
CPU consumption by
interval : Data collected
every 15 minutes by the
STEEDd Java Exit executed
by the Mainview Data
Server
Cumulated CPU
consumption by hour
1
23. STEEDd : Case Study - Alert eMail
BMC Mainview Data Server - Synthèse & Mise en oeuvre
CPU consumption observed
Control Limits for this Time Interval
Detail of the Alert characters :
LPAR Name, Workload, Date & Time
Alert eMail
at 9:02 PM
2
CPU consumption Delta with UCL
24. STEEDd : Case Study - Mainview Panel investigations
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Analyse thanks to
« Mainview for z/OS »
of the CPU consumers
during the Alert
interval
Main CPU consumer in the
Batch Workload of the target
LPAR during the Alert interval
3
25. STEEDd : Résultats obtenus
BMC Mainview Data Server - Synthèse & Mise en oeuvre
Réactivité accrue sur les anomalies de consommation CPU relevées
• Limitation des impacts sur la consommation CPU
Ciblage facilité des origines de ces anomalies
• Actions d’optimisations simplifiées
Diminution pérenne des situations de surconsommation CPU
Neutralisation des impacts sur les pointes d’utilisation de la Capacité
• Maîtrise des besoins Capacité MIPS
Neutralisation des impacts sur les pointes de consommation CPU
• Maîtrise de la facturation aWLC MSU