Les bonnes pratiques pour migrer d'Oracle vers Postgres

© 2013 EnterpriseDB Corporation. All rights reserved. 1
2015
Les bonnes pratiques pour migrer
d’Oracle vers Postgres

Agenda
• Brève présentation d’EnterpriseDB
• Qu’est-ce que “Postgres Plus Advanced Server” ?
• Que signifie le module de “compatibilité Oracle” ?
• Que signifie cette fonctionnalité pour vous ?
• Méthodologie de migration
• Comment migrer
• Gestion des problèmes de migration
• Comment EnterpriseDB peut fournir une assistance
• Résumé
• Réponse à quelques questions fréquentes
• Questions / Réponses

Fournie aux entreprises à des coûts compétitifs les bénéfices
liés à l’utilisation de Postgres en offrant les produits,
ressources, support et opérabilité requise pour des
applications professionnelles de haut niveau.
•Plus de 150 employés
•Plus de 2500 clients répartis sur tous les segments de marché
•Présence internationale avec des bureaux en Amérique du Nord, Europe, Asie
•Croissance rapide : Plus de 60% de croissance des ventes en 2012, plus de 80% en 2013
•Solide situation financière :
© 2013 EnterpriseDB. All rights reserved.

Magic Quadrant 2015 SGBD de Gartner
Commentaire du Gartner :
• Le leadership communautaire :
EnterpriseDB est le principal contributeur
à la communauté Postgres, et responsable
pour les fonctions récentes telles que
le support du format JSON, les vues
dématérialisées et le partitionnement.
Un nombre croissant d'utilisateurs
de Gartner de service de renseignements
reconnaissent la marque EnterpriseDB.
• Fonctionnalité et compatibilité : clients
de Gartner indiquent que la fonctionnalité
de compatibilité Postgres Plus Oracle
de EnterpriseDB est plus que suffisante
pour faire fonctionner les applications
à mission critique et non-stratégiques.
• Stabilité : les clients de référence
évaluant EnterpriseDB fortement
pour la stabilité de ses SGBD, et étaient
satisfaits de ses fonctionnalités HA / DR.

Agenda
• Comment migrer
• Résumé

En phase et contributeur dans la communauté PosgreSQL
Postgres Plus: un ensemble d’outils
et de fonctionnalités avancées

Qu’est-ce que “Postgres Plus Advanced Server” ?
 Version enrichie et améliorée
du PostgreSQL communautaire
 10ème génération d’Oracle
compatibility depuis 2005
 Ajouts majeures en terme de
securité
 Performances qui rivalisent avec
n’importe quel autre SGBD
propriétaire sur le marché
 Développeurs professionnels
et outils pour les DBA
 Installation, performance tuning,
et services de maintenance
 Certification Postgres /
EnterpriseDB

Agenda
• Comment migrer
• Résumé

Compatibilité Oracle - Objectifs
• Exécuter des applications développées pour Oracle virtuellement
inchangées
• Pas besoin de re-former les DBA Oracle et les développeurs
• Support fourni pour SQL, PL/SQL, OCI et Pro*C
• Replication automatique pour faciliter le partage des données
• Réduction drastique des coûts
• Aucun engagement vendeur

Ce que signifie la “compatibilité” :
• Support pour les requêtes SQL
− Decode, NVL, Substr, NVL2
− Date/time functions: add_months, extract, next_day
• Support PL/SQL
− REF Cursors, Implicit et explicit cursors
− Looping, variable declarations, conditional statements
− Collections: Associative Arrays, Varrays, Nested tables
− Bulk binding
− Named parameters
− User Defined Exceptions
− Explicit Transaction Control
− within a stored procedure
− (not supported by PostgreSQL)

Ce que signifie la “Compatibilité” : (suite)
• Fonctionnalités :
− Packages
− Stored procedures
− Functions
− Triggers
− Hints
− Database Links
− Hierarchical Queries
− Materialized view (foundation) (*1)
− Synonyms – Public and Private
− Sequences
− Rownum
− Object types
− Create type … as object, … as table, …as varray
− Constructor and collection methods
− Users/Roles
− Dynamic SQL
*1 – PPAS 9.3

• Data Types
Integer, number, char, double precision,
float, varchar2, blob, clob, xmltype, rowid
• Built-in Packages
DBMS_:
SQL, RLS, LOB, JOB, PIPE, ALERT, OUTPUT, UTILITY, PROFILER
RANDOM, LOCK, CRYPTO, SCHEDULER, MVIEW (*1)
UTL_:
FILE, MAIL, SMTP, ENCODE, TCP
HTTP, URL (*1)
REGEXP_:
INSTR, SUBSTR, COUNT (*1)
• Oracle-like Data Dictionary
− ALL_, DBA_, USER_ views
− Most commonly accessed views
*1 – PPAS 9.3

Diagnostics
• Dynamic Runtime Instrumentation Tools Architecture (DRITA)
− System and session waits
− Not exposed in PostgreSQL
− Part of Advanced Server
− Statspack like reporting
• Tools
− EDB*Plus (SQL*Plus look-a-like)
− EDB*Loader (SQL*Loader equivalent)
− EDB*Wrap (similar to the PL/SQL wrapper)
*1 – PPAS 9.3

Partitionnement dans PPAS v9.3
76 fois plus rapide !
0
10
20
30
40
50
60
70
80
250 500 1000
Facteurd’Amélioration
Nombre de partitions par table
• Oracle syntax for partitioning (create, add, exchange, split, …)
• Postgres Plus Advanced Server est jusqu’à 76 fois plus rapide pour la récupération
des données que PostgreSQL 9.3 ou PPAS 9.2 (Partition pruning, et inserts)
• Plus le nombre de partitions est élevé, plus les performances sont meilleures
PPAS 9.2
PostgreSQL 9.3
PPAS 9.3
Performance Partitionnement : PPAS 9.3 v. PostgreSQL 9.3 v. PPAS 9.2

Agenda
• Comment migrer
• Résumé

Exemple de migration

Database Migration Toolkit (MTK)
• Une boite à outil de migration en ligne pour base de données
permet une migration point en un click depuis Oracle
• Migre automatiquement :
 Data
 Schemas
 Stored Procedures
 Triggers
 Functions
 Sequences
 Packages
 Views
 Database Links
 Synonyms

Compatibilité Oracle & Stratégies de Migration
Stratégie Avantages
Développer/Déployer
Nouveau LOB
Applications
Réduction des coûts importante pour des
applications non critiques
Exploitation des connaissances Oracle
Risque très faible
Déployer Postgres Plus
comme Oracle
Replication Server
Réduction des coûts importante
Exploitation du Postgres Plus Replication Server
Amélioration des performances des transactions
et des temps de réponse des requêtes
Migrer les application
Oracle non critique
vers Postgres Plus
Réduction des coûts importante
Risque très faible
Migrer les applications
Oracle critique
vers Postgres Plus
Plus grande réduction des coûts
Plus grande flexibilité en phase de déploiement

Agenda
• Comment migrer
• Résumé

Processus de migration en plusieurs étapes
 Etape I – Planning
• Identifier quelle application migrer
– Home grown applications
– Java, C
– Packaged applications that support multiple databases
– Support JDBC, ODBC
• Une fois que les appllications candidates sont choisies, démarrer
l’évaluation de la charge à l’aide du “OMA”
• Oracle Migration Assessment (OMA) détermine en amont :
– Problèmes qui peuvent survenir lors de la migration
– Donne une estimation du temps nécessaire pour migrer le système
• Etablir une équipe dédiée :
– Besoin de ressources qui maîtrisent le SGBD source
– Besoin de ressources qui maîtrisent le SGBD cible
• Etablir un plan projet avec des échelons

• Etape II – Préparer l’environment
− Obtenir puis installer les logiciels requis
− Etablir une connexion entre les systèmes
− Copier le fichier Jar du JDBC Oracle dans le répertoire jre/lib/ext dans l’installation
Postgres Plus Advanced Server
• Etape III – Migrer les schémas
− Utiliser Migration Toolkit en mode “schema only”
− Résoudre ici les problèmes avant de passer à l’étape suivante
• Etape IV – Migrer les données
− Utiliser la ligne de commande avec MTK
− Utiliser –copyViaDBLinkOra
− Utilise OCI pour se connecter à Oracle
− Utiliser la parallelisation des threads
− Utiliser la fonction “dblink_ora_copy” directement pour contourner le logging
− Exporter les données Oracle dans un fichier plat, puis utiliser EDB*Loader
pour le chargement de ces données

22
• Etape V – Port Application
− Changer les information de connexion
− Recompile /Link application (OCI or Pro*C)
• Etape VI – Test
− Vérifier le fonctionnement au niveau applicatif
− Résoudre les problèmes
− Tester les performances
− Effectuer du tuning
• Etape VII Integration
− Etablir une stratégie de co-existence
− Mis en place de liens base de données vers d’autres bases de
données
− Mis en place de la replication entre Oracle ou SQL Server et
Postgres Plus Advanced Server
• Etape VIII – Rollout
− Le passage en production du système

Agenda
• Comment migrer
• Résumé

Plan de travail
Phase I Oracle Migration Assessment
• Rapport détaillé de l’outil OMA
• Liste des solutions de contournements
• Risques technologiques
• Score de compatibilité
• Proposition d’une approche pour effectuer la migration, cela inclue
les besoins en terme de compétences, de formation, de revue de
l'architecture, de soucription “Développeur”, et des ressources de
développement à allouer.

Phase I Installer Environment MTK
• Etablir la connexion
− Copier le fichier Jar du JDBC Oracle vers Postgres Plus Advanced Server
install
cp /usr/lib/oracle/xe/app/oracle/product/11.2.0/server/jdbc/lib/ojdbc14.jar
/opt/PostgresPlus/9.2AS/jre/lib/ext
− Edit the toolkit.properties file to contain Oracle and Postgres Plus Advanced
Server connection information:
SRC_DB_URL=jdbc:oracle:thin:@localhost:1521:xe
SRC_DB_USER=system
SRC_DB_PASSWORD=manager
TARGET_DB_URL=jdbc:edb://localhost:5999/demo
TARGET_DB_USER=demo
TARGET_DB_PASSWORD=manager

Phase II Oracle Migration Toolkit
• *** Checking for Migration Issues ***
• Object Type Type Count
• -------------------------------------------------------------------------------
• TRIGGER Count 0
• SOURCE Package 0
• SOURCE Syntax - Exception 0
• SOURCE Function 789
• SOURCE Syntax - Object 0
• SOURCE Syntax - Other 792
• SOURCE Syntax - Hints 282
• SOURCE Syntax - Exp Trans Ctl 730
• SOURCE Total Count 2623
• COLLECTION Count 1
• VARRAY Count 0
• DIMENSION Count 0
• JOB Count 0
• MATERIALIZED VIEW Count 0
• RESOURCE MGR Count 0
• POLICY Count 9
• PROFILE Count 6
• SUMMARY Possible Migration Issues 2775

Phase III Migrer Schema
Utiliser MTK en mode schema only :
[enterprisedb@localhost bin]$ ./runMTK.sh -schemaOnly hr
Source database connectivity info...
conn =jdbc:oracle:thin:@localhost:1521:xe
user =system
password=******
Target database connectivity info...
conn =jdbc:edb://localhost:5999/demo
user =demo
password=******
Connecting with source Oracle database server...
Connecting with target EnterpriseDB database server...
Importing redwood schema hr...
Creating Schema...hr
Creating Object Type: NUMLIST
Creating Sequence: EMPLOYEES_SEQ
Creating Tables...
Creating Table: EMPLOYEES

Phase III Migrer Schema (suite)
******************** Migration Summary ********************
Object Types: 9 out of 9
Sequences: 3 out of 3
Tables: 49 out of 53
Constraints: 39 out of 40
Procedures: 7 out of 7
Functions: 3 out of 3
Packages: 3 out of 3
Total objects: 139
Successful count: 134
Failure count: 5
List of failed objects
======================
Tables
--------------------
1. HR.BFTEST
2. HR.TESTBD
3. HR.TESTBF
4. HR.TESTCNTXT

Phase III Migrer Schema (suite)
• Les logs de la Migration sont situés dans le répertoire
home de l’utilisateur :
• Résoudre les erreurs, exemple :
XMLELEMENT : 35
There is a similar function in Postgres with the same name but the syntax is slightly
different.
SELECT xmlelement(name foo, xmlattributes(current_date as bar), 'cont', 'ent');
xmlelement
-------------------------------------
<foo bar="2007-01-26">content</foo>

Phase IV Migrer les données
• Utiliser MTK en mode data only :
• [enterprisedb@localhost bin]$ ./runMTK.sh -dataOnly hr
• Source database connectivity info...
• conn =jdbc:oracle:thin:@localhost:1521:xe
• user =system
• password=******
• Target database connectivity info...
• conn =jdbc:edb://localhost:5999/demo
• user =demo
• password=******
• Connecting with source Oracle database server...
• Connecting with target EnterpriseDB database server...
• Importing redwood schema hr...
• Loading Table Data in 8 MB batches...
• Loading Table: AGES ...
• [AGES] Migrated 1 rows.
• [AGES] Table Data Load Summary: Total Time(s): 0.467 Total Rows: 1
• Loading Table: DEPARTMENTS ...

Phase V Port de l’application
 Changer la méthode de connexion à l’application
 Java application =
 Ancienne syntaxe pour la connexion :
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection con =
DriverManager.getConnection("jdbc:oracle:thin:@localhost:1521:xe”,”hrapp”,”manage
r”);
 Nouvelle syntaxe pour la connection syntax:
Class.forName("com.edb.Driver");
Connection con = DriverManager.getConnection("jdbc:edb://localhost:5444/edb",
“hrapp",“manager");

Agenda
• Comment migrer
• Résumé

Gérer les erreurs
• Toutes les migrations ne sont pas exemptes d’erreurs
− Les logs de la migration contiendront toutes les erreurs rencontrés
• Quelques erreurs fréquentes :
− Column delimiter chosen is in column data
− Causes ‘Extra data found’ error
− Resolve by using different delimiter
• Si un Oracle built-in package n’existe pas
− DBMS_AQ – on utilise des solutions comme ActiveMQ, MQSeries ou Tibco
− Ou code personnel. Ajouter ou supprimer des procedures depuis une file d’attente
est assez simple à programmer
− xDB Replication Server peut également être utilisé puisque il est basé sur une
architecture pub/sub
− DBMS_LOCK.sleep – utiliser la fonction “pg_sleep” à la place
• Si une fonctionnalité Oracle n’est pas suppportée
− Commande MERGE n’est pas supportée
− Peut être réecrite en utilisant INSERT et UPDATE avec des checks
− Index Organized Tables
− Cluster une table via la commande CLUSTER pour améliorer les performances
en lecture

Gérer les erreurs (suite)
• Database Links
− Migrated over by tool but password is invalid
− This is because Oracle hides the password
− Resolve by dropping and recreating
− Or by specifying a password to use when running the MTK
− runMTK -allDBLinks LINK_NAME1=abc,LINK_NAME2=xyz HR
• Data Movement – performance
− Migration toolkit connects via jdbc
− Large datasets are slow to move
− Use database link functionality instead
− Dblink_ora_copy – EnterpriseDB method to copy data from Oracle over OCI
− Much faster
− OR extract data from Oracle to csv files, load using edbldr

Tuning Recommendations
• Utiliser DynaTune
− Ajuste dynamiquement la configuation de la base de données en se basant
sur les ressources disponibles
− Déclarer via le paramètre edb_dynatune
− Values 0 – 100 corresponding to % of machines to use
• Se rappler de bien analyser la base de données
− Utiliser la commande Analyze
• Oracle Hints sont supportés
− Pas besoin de les supprimer dans du “embedded SQL”

Agenda
• Comment migrer
• Résumé

37
Comment EnterpriseDB
peut fournir une assistance

Oracle Migration Assessment
• A commander sous forme de service auprès d'EnterpriseDB
• Qu’est-ce que c'est ?
− Réunion pour le cadrage (pré-analyse)
− Analyse des schémas Oracle à migrer
− Trouver les questions de migration possibles
− Caractéristiques non prises en charge
− Syntaxe non pris en charge
− Implémentation du délta
− Documenter les résultats dans le rapport final
− Diffuser les discussions d'analyse pour examiner les constatations
• Le score attribué (1 - 10) de la faisabilité de la migration
http://www.enterprisedb.com/solutions/oracle-migration-assessment

Professional services pour votre migration
Assistance après le OMA
• Plan rollout
• Migration the Schema and Stored procedures (OMF next)
• Migrate the data (once, 2x,… minimal down time)
• Training
• Port and test application(s) (typically customer)
• DBA and application coaching/support
• Support contract
• Remote DBA

Migration Oracle Services de base
• Client fournie un export sans les données d’Oracle
• Migrer les bases de données vers Postgres Plus Advanced Server
− Résoudre les erreurs
− Implementer des solutions de contournement pour les foctionnalités différentes
ou manquantes
− Performer une vérification du système à l’aide de tests unitaires
− Requière des input/output du Client sur les mêmes unités dans Oracle
• Documenter les modifications et les solutions de contournement
• Eduquer le Client sur les changements et les solutions de contournement
− Conseiller sur le niveau de changement applicatif requis
• Retourner la base de données migrée au Client
− Via pg_dump
• Le Client a la possibilité de personnaliser en utilisant des options via un add-on

Migration Oracle Ajouts facultatifs (Add-ons)
• Installation et Configuration d’un système de test
− Installation de Postgres Plus Advanced Server sur le serveur du client
− L'importation de base de données migrée à Postgres Plus Advanced Server
− Migration des données de test d'un système Oracle de test
• Application Testing fonctionnelle
− Fournir une assistance dans la connexion à la base de données
− Fournir une assistance dans les tests fonctionnels d'application
− Résoudre les problèmes de tests fonctionnels
• Performance Tuning du système migré
• Configuration de la migration en production
− Installer Postgres Plus Advanced Server sur le serveur de production cible
− Importer base de données migré à partir du serveur de test
− Configuration du Serveur de réplication xDB
− Processus de Snapshot des données de production Oracle migrées
− Deltas sont capturés par des déclencheurs xdb
− Une fois instantané est fait, la synchronisation est effectuée

Agenda
• Comment migrer
• Résumé

Résumé
• Les migrations ne sont plus désormais impossible
• La compatibilité fournie :
− Un coût faible lors des migrations
− Des délais plus court pour migrer
− Un risque faible (il sera toujours possible d’effectuer un retour en arrière)
• EnterpriseDB fournie
− La compatibilité Oracle
− Des outils automatisés pour migrer depuis Oracle
− Et autres : MySQL, Sybase, SQL Server (données & schema)
• Expertise lors de la Migration pour :
− Planning
− Performing migration
− Testing
− Rollout
http://www.enterprisedb.com/solutions/oracle-compatibility

EDB Sert TOUS Vos Besoins Postgres
PostgreSQL
Postgres Plus
Advanced Server Postgres Plus
Cloud

Agenda
• Comment migrer
• Résumé

46
Réponse
à quelques questions fréquentes

Comment je peux remplacer un RAC
pour de la Haute Disponibilité ?
 Active/Passive Clustering
est une technologie éprouvée
 Fournie une détection rapide
et failover
 Pas de coût supplémentaire
associé à la base de données

Comment je peux remplacer DataGuard
(Physique) ?
Archiver
Disk
Storage
Live
Server
Instance
Postgres Plus
Advanced Server
Disk
Storage
Standby
Server
(in recovery mode)
Postgres Plus
Advanced Server
WAL WAL
pg_standby

Comment je peux remplacer DataGuard
(Logique) ?
» Uses WAL for speed and
reliability
» Highly cost effective, uses
commodity servers
» Excellent HA solution when
clustering is not an option

Les bonnes pratiques pour migrer d'Oracle vers Postgres

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Les bonnes pratiques pour migrer d'Oracle vers Postgres

Similaire à Les bonnes pratiques pour migrer d'Oracle vers Postgres (20)

Plus de EDB

Plus de EDB (20)

Les bonnes pratiques pour migrer d'Oracle vers Postgres