Migrations

                          Khaled BENTEBAL
                 Khaled.bentebal@consult-ix.fr


             Mardi 30 novembre 2010
                    User Group Informix France
Agenda
  l  Pourquoi migrer?
  l  Types de Migration
  l      - In Place upgrade
  l      - Not In-Place
  l  Planning, documentation, tests
  l  In-Place : étapes
  l  Outils et stratégies
  l  Migration ToolKit



                            User Group Informix France
                                                     2
Pourquoi Migrer

 l    Support
 Ø    IDS 7.31 Fin de support 30 Septembre 2009
 Ø    IDS 9.40 Fin de support 30 Avril 2009
 Ø    IDS 10.00 Fin de support 30 Septembre 2010
 Ø    Changement de machines (serveurs)
 Ø    http://www.ibm.com/software/data/support/lifecycle/
 l    Raisons techniques
 Ø    Nouvelles fonctionnalités IDS 11.10, 11.50
 Ø    Roadmap
 Ø    Performance
 Ø    Facilité d’administration
 Ø    Compatibilité avec d’autres produits IBM ou NON IBM
                                          User Group Informix France
                                                                   3
Nouveautés de la version V11


                                                         Développement d’Application
Haute disponibilité,                                     Dynamic SQL dans le SPL
  Replication et                                         Trigger : améliorations
  performance                 Admin Free Zone
                               Open Admin Tool (OAT)     Named Parameters in a Callable
Multiple Secondaires
                               Admin API
                                                              Statement                                Securité
Shared Disk Secondaire
                                                         BIGINT et BIGSERIAL
Active-Active cluster          Cluster Management
                                                         Tables dérivées dans la clause FROM du   Label Based Access Control
Gestion de charge              Extensive ER Support
                                                              SELECT                              Communication cryptée
Flexible failover handling     Rename and Configuration                                             dans le HDR
                                                         Index Self Join
Backup/Restore vers répertoire      Changes
                                                         Basic Text Search avec support XML       Single sign-on via Kerberos
Parallel Whole System Backup   Automated Update Stats
                                                         Sysdbopen / Sysdbclose                   SSL Encryption
Ordre des DBspaces optimisé:   Improved Wizards
                                                         XML Publishing & Transformations
   Backup/Restore              Windows Installer Updated                                               Informix
                                    to Installshield ISW Auto Re-prepare
Continuous Log Restore                                                                                Warehouse
                                                         Tables externes
Checkpoint Non bloquant                                  Enhanced Data Types for Distributed        Compression des données
Optimistic Concurrency                                        Queries                               Tables externes
DIRECT-IO                                                Deployment Wizard
                                                                                                    Compression des données
                                                         Optimizer Directives in ANSI-Compliant
                                                              Join Queries
                                                                     User Group Informix France
                                                                                                                                4
Types de migrations
 l    In-Place migration (conversion)
       Ø  Installer la nouvelle version, arrêter l’ancienne, redamarrer la nouvelle
       Ø  Le moyen le plus simple et le plus rapide
       Ø  Peut être réalisé sur d’autres serveurs de même type en passant par une
           Sauvegarde/Restore
       Ø  Permet de passer de 32bits à 64bits
       Ø  Garde la même organisation disque

 l    Non In-Place
       Ø  Déplacement des données obligatoire
       Ø  Changement de plateforme : taille de page différente, différente organisation
           du disque
       Ø  Utilisation d’outils de déplacement de données: dbexport, unload, HPL, …
       Ø  Temps d’indisponibilité plus important




                                                   User Group Informix France
                                                                                           5
Planning
 l    Réseau
       Ø  Débit,
       Ø  Firewalls

 l    Replication
       Ø  Arrêt et redémarrage de la réplication

 l    Disque
       Ø  Besoin d espace supplémentaire même pour une migration IN-PLACE
       Ø  Besoin de 2 à 3 fois l espace (base source, fichiers intermédiaires, base
           destination)

 l    Compatibilité au niveau applicatif
       Ø  Upgrade CSDK, autres outils non Informix




                                                    User Group Informix France
                                                                                       6
Documentation
 Ø    Migration Guide de la V11 (ex. 11.50).
 Ø    Vérifier les pré-requis
 Ø    Vérifier les étapes de pré-migration
 Ø    Vérifier les étapes de post-migration
 Ø    Release notes à lire
 Ø    Documentation notes à lire
 Ø    Vos documents des migrations précédentes
 Ø    Notes concernant votre environnement
 Ø    Définir une checklist: liste des étapes à suivre



                                      User Group Informix France
                                                               7
Tests
 Ø    Utiliser un serveur de backup pour tester la migration
 Ø    Mesurer le temps
 Ø    Tâches de pré-migration :
       §  Identifier les tables ayant des ALTER IN PLACE
       §  Créer les scripts
 Ø    Simuler un crash
 Ø    Essayer différentes stratégies
 Ø    Tester le nouvel environnement
 Ø    Mesurer les performances sur certaines tâches clé ou
       batch
 Ø    Demander l’aide si nécessaire (support IBM,
       partenaires)
                                      User Group Informix France
                                                                8
Tests (suite)
  Ø  Nouveau mots réservés
        §  Ex: ADMIN, TASK, FULL , …
        §  Par nécessairement un problème sauf en cas d’ambiguité
  Ø    Backup/restore:
        §  OnArchive n est plus supporté
        §  ISM pourra ne plus être supporté
  Ø    Performance
        §  Les nouveaux plans d exécution peuvent améliorer ou
            ralentir
  Ø    Sécurité
        §  La sécurité est plus rigide dans les nouvelles versions ( à
            tester)
  Ø    Nouvelles fonctionnalités
        Ø  A essayer pendant la phase de tests Group Informix France
                                            User
                                                                          9
V7.31 : Attention
l    Si vous migrez de IDS V7.31, le nombre de
      colonnes VARCHARs et NVARCHARs par table a
      diminué ( de 231 à 195) pour les pages de 2K
      (UNIX et LINUX); idem pour les colonnes de type
      BUTE et TEXT
l    Sur les plateformes où la page est de 4K (AIX ou
      Windows) , la limite est de 450 colonnes.




                                 User Group Informix France
Migration IN-PLACE: étapes
 Ø  Migrations intermédiaires possible
       §  Ex: ADMIN, TASK, FULL
       Version Source                                 Version destination
       §  Par11.10, 10.00, 9.40, 9.30,problème sauf en cas
       11.50, nécessairement un 9.21, ou 7.31         11.70
 Ø  Backup/restore:
      9.20, 9.14                                     9.30, 9.21
       §  OnArchive nER) plus supporté
       7.30, 7.24 (w/out est                         10.0, 9.40, 7.31
       §  ISM pourra ne plus être supporté
       7.24 (w/ ER),7.23, 7.22                       7.31, 7.30, 7.24 w/out ER
 Ø    Résoudre les ALTER IN PLACE avant la
 Ø    Installer le nouveau serveur
 Ø    Vérifier les pré-requis: release notes, machine notes,
 Ø    Vérifier l espace disque disponible: rootdbs, …
 Ø    Sauvegarder les fichiers de configuration (onconfig,
       sqlhosts)
                                       User Group Informix France
                                                                                 11
Migration IN-PLACE: étapes (suite)
 Ø  Terminer toutes les transactions et arrêter le moteur
       Informix
       §    Onmode –uy (forcer la fin des transactions)
       §    Onmode –l
       §    Onmode –c
       §    Onmode -ky
 Ø    Redémarrer le moteur Informix (nouvelle version):
       §  Oninit -s
 Ø    Vérifier l intégrité des données
       §  Oncheck –cr, oncheck –ce, oncheck –cc, oncheck –cD,
           oncheck –cI
 Ø    Vérifier que vous êtes en mode quiescent
       §  Onstat –
                                             User Group Informix France
                                                                      12
Migration IN-PLACE: étapes (suite)
 Ø    Si vous utilisez le HDR, il faudra désactiver le HDR:
       §  Onmode –d standard
 Ø    Sauvegarder l instance source en cas de retour
       arrière
       §  Ontape –s –L 0 ou onbar –b
 Ø    Sauvegarder les logs
       §  Ontape –a
 Ø    Arrêter le moteur source
       §  Onmode –ky
 Ø    Modifier les paramètres du noyau unix/linux
       §  Consulter le fichier ids_machine_notes_11.50.txt
           ($INFORMIXDIR/release/*/*)

                                          User Group Informix France
                                                                   13
Migration IN-PLACE: étapes (suite)
 Ø    Démarrer le nouveau serveur Informix:
       Ø  Oninit –v
 Ø    Contrôler les messages de conversion dans
       online.log
       Ø  Atttendre juqu au moment où le message suivant arrive:
            « Conversion completed successfuly »
 Ø    Installer/enregister les datablades si besoin
 Ø    Post-installation:
       Ø  Sauvegarde complète: ontape –s –L 0
       Ø  UPDATE STATISTICS
       Ø  Tests applicatifs
       Ø  Réglage du moteur
       Ø  Redémarrer la réplication si besoin
       Ø  Upgrade des clients (modification des paramètres de
           connexion)
                                           User Group Informix France
                                                                    14
Migration NON IN-PLACE: étapes
 Ø    Raisons:
       §    Changement de machine
       §    Regroupement de base dans une nouvelle instance
       §    Réorganisation de l espace disque
       §    Déplacer l instance vers une nouvelle machine
       §    Changement de taille de page
 Ø    Inconvénients:
       Ø  Moins rapide
       Ø  Demande plus de planification
       Ø  Plus compliqué
       Ø  Risque d erreurs



                                           User Group Informix France
                                                                    15
Outils et stratégies de migration
 Ø    Dbexport/dbimport
 Ø    Dbschema
 Ø    HDR
 Ø    ER
 Ø    HPL
 Ø    INSERT INTO new_table SELECT * FROM
       remote_db@remote_ids:old_table (d une instance
       vers une autre en utilisant éventuellement des tables
       de type RAW)
 Ø    Unload/load et dbload
 Ø    Onunload/onload

                                     User Group Informix France
                                                               16
Merci

             Khaled BENTEBAL
    Khaled.bentebal@consult-ix.fr


Mardi 30 novembre 2010
       User Group Informix France

UGIF 12 2010 - migration v11 - Khaled Bentebal

  • 1.
    Migrations Khaled BENTEBAL Khaled.bentebal@consult-ix.fr Mardi 30 novembre 2010 User Group Informix France
  • 2.
    Agenda l Pourquoi migrer? l  Types de Migration l  - In Place upgrade l  - Not In-Place l  Planning, documentation, tests l  In-Place : étapes l  Outils et stratégies l  Migration ToolKit User Group Informix France 2
  • 3.
    Pourquoi Migrer l  Support Ø  IDS 7.31 Fin de support 30 Septembre 2009 Ø  IDS 9.40 Fin de support 30 Avril 2009 Ø  IDS 10.00 Fin de support 30 Septembre 2010 Ø  Changement de machines (serveurs) Ø  http://www.ibm.com/software/data/support/lifecycle/ l  Raisons techniques Ø  Nouvelles fonctionnalités IDS 11.10, 11.50 Ø  Roadmap Ø  Performance Ø  Facilité d’administration Ø  Compatibilité avec d’autres produits IBM ou NON IBM User Group Informix France 3
  • 4.
    Nouveautés de laversion V11 Développement d’Application Haute disponibilité, Dynamic SQL dans le SPL Replication et Trigger : améliorations performance Admin Free Zone Open Admin Tool (OAT) Named Parameters in a Callable Multiple Secondaires Admin API Statement Securité Shared Disk Secondaire BIGINT et BIGSERIAL Active-Active cluster Cluster Management Tables dérivées dans la clause FROM du Label Based Access Control Gestion de charge Extensive ER Support SELECT Communication cryptée Flexible failover handling Rename and Configuration dans le HDR Index Self Join Backup/Restore vers répertoire Changes Basic Text Search avec support XML Single sign-on via Kerberos Parallel Whole System Backup Automated Update Stats Sysdbopen / Sysdbclose SSL Encryption Ordre des DBspaces optimisé: Improved Wizards XML Publishing & Transformations Backup/Restore Windows Installer Updated Informix to Installshield ISW Auto Re-prepare Continuous Log Restore Warehouse Tables externes Checkpoint Non bloquant Enhanced Data Types for Distributed Compression des données Optimistic Concurrency Queries Tables externes DIRECT-IO Deployment Wizard Compression des données Optimizer Directives in ANSI-Compliant Join Queries User Group Informix France 4
  • 5.
    Types de migrations l  In-Place migration (conversion) Ø  Installer la nouvelle version, arrêter l’ancienne, redamarrer la nouvelle Ø  Le moyen le plus simple et le plus rapide Ø  Peut être réalisé sur d’autres serveurs de même type en passant par une Sauvegarde/Restore Ø  Permet de passer de 32bits à 64bits Ø  Garde la même organisation disque l  Non In-Place Ø  Déplacement des données obligatoire Ø  Changement de plateforme : taille de page différente, différente organisation du disque Ø  Utilisation d’outils de déplacement de données: dbexport, unload, HPL, … Ø  Temps d’indisponibilité plus important User Group Informix France 5
  • 6.
    Planning l  Réseau Ø  Débit, Ø  Firewalls l  Replication Ø  Arrêt et redémarrage de la réplication l  Disque Ø  Besoin d espace supplémentaire même pour une migration IN-PLACE Ø  Besoin de 2 à 3 fois l espace (base source, fichiers intermédiaires, base destination) l  Compatibilité au niveau applicatif Ø  Upgrade CSDK, autres outils non Informix User Group Informix France 6
  • 7.
    Documentation Ø  Migration Guide de la V11 (ex. 11.50). Ø  Vérifier les pré-requis Ø  Vérifier les étapes de pré-migration Ø  Vérifier les étapes de post-migration Ø  Release notes à lire Ø  Documentation notes à lire Ø  Vos documents des migrations précédentes Ø  Notes concernant votre environnement Ø  Définir une checklist: liste des étapes à suivre User Group Informix France 7
  • 8.
    Tests Ø  Utiliser un serveur de backup pour tester la migration Ø  Mesurer le temps Ø  Tâches de pré-migration : §  Identifier les tables ayant des ALTER IN PLACE §  Créer les scripts Ø  Simuler un crash Ø  Essayer différentes stratégies Ø  Tester le nouvel environnement Ø  Mesurer les performances sur certaines tâches clé ou batch Ø  Demander l’aide si nécessaire (support IBM, partenaires) User Group Informix France 8
  • 9.
    Tests (suite) Ø  Nouveau mots réservés §  Ex: ADMIN, TASK, FULL , … §  Par nécessairement un problème sauf en cas d’ambiguité Ø  Backup/restore: §  OnArchive n est plus supporté §  ISM pourra ne plus être supporté Ø  Performance §  Les nouveaux plans d exécution peuvent améliorer ou ralentir Ø  Sécurité §  La sécurité est plus rigide dans les nouvelles versions ( à tester) Ø  Nouvelles fonctionnalités Ø  A essayer pendant la phase de tests Group Informix France User 9
  • 10.
    V7.31 : Attention l  Si vous migrez de IDS V7.31, le nombre de colonnes VARCHARs et NVARCHARs par table a diminué ( de 231 à 195) pour les pages de 2K (UNIX et LINUX); idem pour les colonnes de type BUTE et TEXT l  Sur les plateformes où la page est de 4K (AIX ou Windows) , la limite est de 450 colonnes. User Group Informix France
  • 11.
    Migration IN-PLACE: étapes Ø  Migrations intermédiaires possible §  Ex: ADMIN, TASK, FULL Version Source Version destination §  Par11.10, 10.00, 9.40, 9.30,problème sauf en cas 11.50, nécessairement un 9.21, ou 7.31 11.70 Ø  Backup/restore: 9.20, 9.14 9.30, 9.21 §  OnArchive nER) plus supporté 7.30, 7.24 (w/out est 10.0, 9.40, 7.31 §  ISM pourra ne plus être supporté 7.24 (w/ ER),7.23, 7.22 7.31, 7.30, 7.24 w/out ER Ø  Résoudre les ALTER IN PLACE avant la Ø  Installer le nouveau serveur Ø  Vérifier les pré-requis: release notes, machine notes, Ø  Vérifier l espace disque disponible: rootdbs, … Ø  Sauvegarder les fichiers de configuration (onconfig, sqlhosts) User Group Informix France 11
  • 12.
    Migration IN-PLACE: étapes(suite) Ø  Terminer toutes les transactions et arrêter le moteur Informix §  Onmode –uy (forcer la fin des transactions) §  Onmode –l §  Onmode –c §  Onmode -ky Ø  Redémarrer le moteur Informix (nouvelle version): §  Oninit -s Ø  Vérifier l intégrité des données §  Oncheck –cr, oncheck –ce, oncheck –cc, oncheck –cD, oncheck –cI Ø  Vérifier que vous êtes en mode quiescent §  Onstat – User Group Informix France 12
  • 13.
    Migration IN-PLACE: étapes(suite) Ø  Si vous utilisez le HDR, il faudra désactiver le HDR: §  Onmode –d standard Ø  Sauvegarder l instance source en cas de retour arrière §  Ontape –s –L 0 ou onbar –b Ø  Sauvegarder les logs §  Ontape –a Ø  Arrêter le moteur source §  Onmode –ky Ø  Modifier les paramètres du noyau unix/linux §  Consulter le fichier ids_machine_notes_11.50.txt ($INFORMIXDIR/release/*/*) User Group Informix France 13
  • 14.
    Migration IN-PLACE: étapes(suite) Ø  Démarrer le nouveau serveur Informix: Ø  Oninit –v Ø  Contrôler les messages de conversion dans online.log Ø  Atttendre juqu au moment où le message suivant arrive: « Conversion completed successfuly » Ø  Installer/enregister les datablades si besoin Ø  Post-installation: Ø  Sauvegarde complète: ontape –s –L 0 Ø  UPDATE STATISTICS Ø  Tests applicatifs Ø  Réglage du moteur Ø  Redémarrer la réplication si besoin Ø  Upgrade des clients (modification des paramètres de connexion) User Group Informix France 14
  • 15.
    Migration NON IN-PLACE:étapes Ø  Raisons: §  Changement de machine §  Regroupement de base dans une nouvelle instance §  Réorganisation de l espace disque §  Déplacer l instance vers une nouvelle machine §  Changement de taille de page Ø  Inconvénients: Ø  Moins rapide Ø  Demande plus de planification Ø  Plus compliqué Ø  Risque d erreurs User Group Informix France 15
  • 16.
    Outils et stratégiesde migration Ø  Dbexport/dbimport Ø  Dbschema Ø  HDR Ø  ER Ø  HPL Ø  INSERT INTO new_table SELECT * FROM remote_db@remote_ids:old_table (d une instance vers une autre en utilisant éventuellement des tables de type RAW) Ø  Unload/load et dbload Ø  Onunload/onload User Group Informix France 16
  • 17.
    Merci Khaled BENTEBAL Khaled.bentebal@consult-ix.fr Mardi 30 novembre 2010 User Group Informix France