SlideShare une entreprise Scribd logo
Application du modèle de prévision météorologique WRF au Vietnam 


Remerciements


Je tiens d’abord à remercier Monsieur le Professeur. Dr. NGUYEN Thanh Thuy qui
m’a dirigé pour mon mémoire de fin d’études universitaires. Sans son initiative, ce
projet n'aurait pas été achevé. Je tiens à lui exprimer toute ma reconnaissance pour
son dévouement, la confiance qu'il m'a accordée, sa rigueur et la qualité des
commentaires et suggestions sur mes travaux.
Je tiens également à remercier Dr. NGUYEN Huu Duc, Dr. TA Tuan Anh pour
m’avoir aidé et aussi m’avoir donné des conseils importants.
Je remercie infiniment Monsieur le Professeur. Dr. PHAM Ky Anh, Directeur du
Centre de la Calcul à Haute Performance, Université nationale de Hanoi pour sa
permission de rechercher et déployer le système sur deux superordinateurs les plus
puissants au Vietnam.
Je remercie également Monsieur PHAN Van Tan, enseignant-chercheur du Centre
de Météo, Université nationale de Hanoi pour ses conseils précieux, son soutien
ainsi que pour sa gentillesse tout au long de mon stage de fin d’études. Ce travail
n’aurait pu être accompli sans son aide.
Je remercie beaucoup Monsieur DOAN Trung Tung, Monsieur LE Duc Tung et
Monsieur Tran Tuan Tu au Centre de Calcul à Haute Performance pour leurs aides
techniques.
Ma gratitude s’adresse aussi aux professeurs à l’Institut Polytechnique de Hanoi
(IPH) pour m’avoir transmis de bonnes connaissances concernant le savoir et le
savoir-faire qui sont utiles pour mon mémoire.
Je voudrais remercier particulièrement mes professeurs de français pour leurs bons
conseils dans la rédaction du mémoire.
Finalement, j’exprime mon entière reconnaissance à ma famille et mes amis pour
leurs soutiens, leurs aides, leurs encouragements et leurs conseils sincères.


                                                                    Hanoi, le 18 mai 2008


                                                                    TRAN Viet Trung




TRAN Viet Trung ‐ Filière francophone de l’Informatique                                 1
Application du modèle de prévision météorologique WRF au Vietnam 


Table des matières

Remerciements .......................................................................................................... 1
Liste des figures ......................................................................................................... 4
Liste des tableaux ...................................................................................................... 5
Liste des abréviations ................................................................................................ 6
Prologue          7
CHAPITRE I Modèle Weather Research and Forecasting (WRF) ................... 9
   1. Introduction ....................................................................................................... 9
   2. Architecture du modèle WRF ......................................................................... 10
      2.1.     Initialisation.............................................................................................. 10
      2.2.     WRF-VAR pour cœur ARW .................................................................... 11
      2.3.     Cœurs dynamiques (ARW & NMM) ....................................................... 11
      2.4.     Les paquets de physique........................................................................... 12
      2.5.     Outil de post-traitement du WRF ............................................................. 12
   3. Sous modèle WRF ARW ................................................................................ 15
      3.1.     Le Système de prétraitement (WPS) ........................................................ 16
      3.2.     Initialisation du modèle ARW ................................................................. 21
      3.3.     Cœur WRF ARW ..................................................................................... 25
   4. Conclusion ...................................................................................................... 27
CHAPITRE II Calcul à haute performance avec WRF ................................... 28
   1. Matériel ........................................................................................................... 28
      1.1.     Bkluster .................................................................................................... 28
      1.2.     IBM eServer Cluster 1350 ....................................................................... 28
      1.3.     IBM eserver Cluster 1600 ........................................................................ 29
   2. Environnement du logiciel .............................................................................. 30
      2.1.     Compilateurs et langage de programmation demandés ........................... 30
      2.2.     Les bibliothèques optionnelles ................................................................. 30
   3. Domaines de calcul ......................................................................................... 31
      3.1.     Domaine de calcul au Bkluster. ............................................................... 31
      3.2.     Domaine de calcul au IBM eserver 1350. ................................................ 31
      3.3.     Domaine de calcul au IBM eserver 1600. ................................................ 33
   4. Données du modèle ARW .............................................................................. 34
      4.1.     Données météorologiques ........................................................................ 34


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                                                      2
Application du modèle de prévision météorologique WRF au Vietnam 

     4.2.     Données géographiques ........................................................................... 34
  5. Déploiement des modules du ARW ................................................................ 34
     5.1.     Module WPS ............................................................................................ 34
     5.2.     Module ARW ........................................................................................... 38
  6. Conclusion ...................................................................................................... 40
CHAPITRE III Évaluation des expériences ...................................................... 41
  1. Introduction ..................................................................................................... 41
  2. Les expériences réalisées sur Bkluster ............................................................ 41
     2.1.     Mode séquentiel ....................................................................................... 41
     2.2.     Mode parallèle .......................................................................................... 42
  3. Comparaison de la performance entre trois systèmes ..................................... 44
  4. Conclusion ...................................................................................................... 46
CHAPITRE IV Application du modèle WRF au Centre HPC ........................ 47
  1. Introduction ..................................................................................................... 47
  2. Structure du Système ...................................................................................... 48
     2.1.     Module de contrôle automatique du modèle WRF .................................. 49
     2.2.     Extraction de champs météorologiques par le script NCL ...................... 51
     2.3.     Mise en carte de la structure de la base de données. ................................ 53
     2.4.     MeteoAPI ................................................................................................. 54
     2.5.     Gadget IPHmétéo pour Google Desktop ................................................. 58
  3. Conclusion ...................................................................................................... 64
Conclusion 65
Référence 66
Annexe           67




TRAN Viet Trung ‐ Filière francophone de l’Informatique                                                                  3
Application du modèle de prévision météorologique WRF au Vietnam 


Liste des figures
Figure I-1 Les composants du modèle WRF ............................................................. 10
Figure I-2 Graphique NCAR et RIP4 ....................................................................... 13
Figure I-3 Image de GrADS ...................................................................................... 14
Figure I-5 Le Composants du Système du modèle ARW ......................................... 16
Figure I-6 Système de prétraitement ......................................................................... 17
Figure I-7 Initialisation du modèle ARW ................................................................. 22
Figure I-8 Initialisation pour les cas de données idéaux ........................................... 23
Figure I-9 Initialisation pour les cas de données réels .............................................. 24
Figure I-10 Coordonnée de pression hydrostatique suivant le terrain ...................... 25
Figure I-11 Emboîtement du modèle ARW .............................................................. 26
Figure II-1 Comparaison de la performance de calcul entre trois systèmes. ............ 29
Figure II-2 Domaine Vietnam1 ................................................................................. 31
Figure II-3 Domaine DNA_nested ............................................................................ 32
Figure II-4 Domaine DNA-nested2 .......................................................................... 33
Figure II-5 Exécuter les programme du WPS ........................................................... 35
Figure II-6 Définir un domaine du modèle WRF ..................................................... 36
Figure III-1 Mode séquentiel .................................................................................... 42
Figure III-2 Temps d'exécution influencé par MPICH et la communication ........... 42
Figure III-3 L’influence de la quantité de processeurs ............................................. 43
Figure III-4 Temps moyen au cas optimal de trois systèmes................................... 45
Figure III-5 Comparaison entre Bkluster et IBM 1350............................................. 46
Figure IV-1 Produire des images météorologiques................................................... 47
Figure IV-2 Structure du système déployé au Centre HPC ...................................... 48
Figure IV-3 Automatisation du modèle WRF........................................................... 49
Figure IV-4 Les étapes principales du module d’extraire les champs
météorologiques ........................................................................................................ 52
Figure IV-5 Le structure de la base de données ........................................................ 53
Figure IV-6 le processus de traitement d’une demande par MeteoAPI .................... 56
Figure IV-7 IPHMétéo .............................................................................................. 60
Figure IV-8 Les trois états d’affichage de l’IPHmétéo ............................................. 61
Figure IV-9 IPHmétéo en version Français, Anglais et Vietnamien ........................ 62
Figure IV-10 IPHmétéo sur la galerie de Google ..................................................... 63
Figure IV-11 Prévision météorologique à 14 : 55’ le 16 mai 2008 .......................... 63


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                                                  4
Application du modèle de prévision météorologique WRF au Vietnam 

Liste des tableaux


Tableau I-1 Parallélisme dans le WPS ................................................................... 21
Tableau III-1 Temps moyen influencé par le nombre de processeurs sur Bkluster.. 44
Tableau III-2 Temps moyen influencé par le nombre de processeurs sur IBM 135044
Tableau III-3 Temps moyen influencé par 8 processeurs sur IBM 1600 ................. 44
Tableau IV-1 Structure de l’IPHmétéo ..................................................................... 61




TRAN Viet Trung ‐ Filière francophone de l’Informatique                                                    5
Application du modèle de prévision météorologique WRF au Vietnam 

Liste des abréviations


NWP         :     Numerical Weather Prediction
WRF         :     Weather Research and Forecasting
MM5         :     The Fifth-Generation NCAR / Penn State Mesoscale Model
GRIB        :      GRIdded Binary
HPCC        :     High Performance Computing Centre
CM          :      Centre de Météo
NCAR        :     National Center for Atmospheric Research
NCEP        :     National Centers for Environmental Prediction
PNT         :     Prévision Numérique du Temps
MMM         :     Numerical Model Metadata
NAM         :     North Amercian Meso
GFS         :     Global Forecast System
AVN         :     Aviation Model
XML         :     Langage de balisage extensible
WSF         :     WRF Software Framework
ARW         :     Advanced Research WRF
GrADS       :     Grid Analysis and Display System




TRAN Viet Trung ‐ Filière francophone de l’Informatique                    6
Application du modèle de prévision météorologique WRF au Vietnam 


Introduction


Le problème de prévision numérique du temps (PNT) a attiré vivement l’intention
des chercheurs du Centre du Calcul à Haute Performance (HPCC), Institut
polytechnique de Hanoi. Depuis 2006, HPCC a mené une coopération avec le
Centre de météo (CM), de l’Université nationale des sciences de Hanoi afin de
pouvoir étudier et déployer les modèles de prévision météorologique sur les
ordinateurs à haute performance. Grâce à cette coopération, nous avons obtenu
plusieurs résultats importants, en particulier pour la recherche et le déploiement du
modèle MM5.
Cependant, pour l’opération de prévison, il n’est jamais suffisamment exact
d’utiliser seulement un modèle numérique quand il est appliqué dans les conditions
particulières du Vietnam. À partir de cette demande, la recherche d’autres modèles
de prévision météorologique est devenu un problème indispensable. Ce sont toutes
les raisons pour lesquelles le modèle de prévision numérique WRF a été choisi.
Parmi les autres, notamment le modèle MM5, il est une évolution et un successeur
du modèle MM5 qui n’est plus supporté par les développeurs. En effet, WRF s’est
développé rapidement les années dernières, il est presque neuf au Vietnam. Si mon
mémoire de fin d’études réussit bien, ce sera la première fois que le modèle WRF
est utilisé au HHPC et aussi au CM.
La perspective de ce mémoire se concentre non seulement sur le déploiement du
modèle WRF mais encore une importante partie se concentre sur recherche de la
façon pour exploiter les résultats de prévison chez les utilisateurs ordinaires.
Mon mémoire se compose donc des chapitres suivants :
Chapitre I : « Modèle Weather Research and Forecasting (WRF) »
On présentera dans ce chapitre des connaissances du modèle de prévision
météorologique WRF. On présentera en détail ensuite le sous-modèle WRF ARW
(Advanced Research WRF), ses composants et la relation entre eux.
Chapitre II : « Calcul à haute performance avec WRF »
On abordera en détail toutes les étapes et la façon de déployer le modèle sur les
superordinateurs à haute performance.
Chapitre III : « Évaluation des expériences »
On réalise et analyse des résultats obtenus en faisant des expériences. Les
évaluations concernent la recherche de la façon d’exécution optimale du modèle sur
tous les trois systèmes. On se concentre également sur la comparaison de la
performance entre eux.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                            7
Application du modèle de prévision météorologique WRF au Vietnam 



Chapitre IV : « Application du modèle WRF au Centre HPC »
Ce chapitre illustrera un système professionnel déployé au centre HPC afin de
pouvoir exploiter les données de sortie du modèle WRF. Le système permet
d’approvisionner les bulletins de météo chez les utilisateurs ordinaires au Vietnam.




TRAN Viet Trung ‐ Filière francophone de l’Informatique                           8
Application du modèle de prévision météorologique WRF au Vietnam 


CHAPITRE I         Modèle Weather Research and Forecasting (WRF)
       

      1. Introduction
      La prévision météorologique [1] est une application des connaissances en
      météorologie et des techniques modernes de prises de données et d’informatique
      pour prédire l’état de l’atmosphère à un temps ultérieur. L’histoire de la prévision
      du temps remonte aux temps immémoriaux avec les oracles et devins, mais la
      science moderne date vraiment de la fin du XIXe siècle et du début du XXe siècle.
      Elle s’est cependant affirmée depuis la deuxième Guerre mondiale alors que les
      moyens techniques comme le radar et les communications modernes ont rendu
      l’accès aux données plus rapide et plus nombreuses.
      Les lois régissant le comportement de l’atmosphère sont dérivées de la mécanique
      des fluides. On peut les résoudre, grâce à des modèles mathématiques et des
      superordinateurs. Ce sont les modèles numériques de prévision météorologique,
      parmi lesquels le modèle WRF est un représentant typique de ces méthodes.
      Théoriquement, le Modèle Weather Research and Forecasting (WRF) [2] est un
      système numérique méso-échelle de nouvelle génération pour la recherche et les
      prévisions météorologiques. C'est une évolution et un successeur du modèle MM5.
      WRF est du domaine public et disponible gratuitement. Il présente des coeurs
      dynamiques multiples, un système d'assimilation de données en 3 dimensions
      variationnelles (3DVAR) et une architecture de logiciel tenant compte du calcul en
      parallèle et de l'extensibilité du système.
      WRF permet un large éventail d’applications à des échelles spatiales allantes de
      quelques mètres à quelques centaines kilomètres, entre lesquelles :
          •   Prévision météo
          •   Simulation idéalisée (LES, convection, ondes baroclines)
          •   Paramétrisation atmosphérique
          •   Assimilation de données
          •   Processus de couplage
      Les efforts pour développer le WRF ont principalement été une collaboration entre
      National Center for Atmospheric Research (NCAR), National Oceanic and
      Atmospheric Administration (le National Centers for Environmental Prediction
      (NCEP) et Forecast Systems Laboratory (FSL), Air Force Weather Agency
      (AFWA), Naval Research Laboratory, Oklahoma University, et Federal Aviation
      Administration (FAA). WRF permet aux chercheurs la capacité d'accomplir des
      simulations reflétant des données réelles ou des configurations idéalisées. WRF

      TRAN Viet Trung ‐ Filière francophone de l’Informatique                           9
Application du modèle de prévision météorologique WRF au Vietnam 

fournit des prévisions opérationnelles d'un modèle qui est flexible et efficace, en
offrant les avances dans la physique, numeric et l'assimilation de données
contribuées par la communauté de recherche.

2. Architecture du modèle WRF
Les composants principaux du modèle WRF sont représentés dans la figure I-1 ci-
dessous. Ce sont :
     • Le framework de logiciel WRF (WSF) fournit l'infrastructure qui loge les
       cœurs multiples dynamiques.
     • Les paquets de physique qui branchent le cœur par une interface standard de
       physique.
     • Les programmes de l'initialisation.
     • Le système de l'assimilation de données d’observation du WRF (WRF-Var).
     • Les cœurs multiples dynamiques.
Il y a deux cœurs dynamiques disponibles jusqu'à maintenant dans le WSF : Cœur
ARW (Advanced Research WRF) développé essentiellement à NCAR et cœur
NMM (Nonhydrostatic Mesoscale Model) développé à NCEP.


                                      Framework de logiciel du WRF




    Données observées,                                                     Système de post-
      reanalyses, du                                                   traitement du WRF, outil
     modèle global ...                                                        graphique

                                      WRF-VAR




 

                         Figure I-1     Les composants du modèle WRF

La suite de ce chapitre se consacre à la description de ces différents modules.

2.1. Initialisation
WRF peut être exécuté avec les conditions initiales qui sont analytiquement définies
pour les simulations idéalisées, il peut être également exécuté en utilisant des
données interpolées d'une analyse du modèle global pour les cas de données réelles.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                       10
Application du modèle de prévision météorologique WRF au Vietnam 

Les cas d'épreuves tant 2D que 3D pour les simulations idéalisées sont fournis. En
plus, plusieurs cas d’épreuves pour les simulations de données réelles sont
également fournis, qui comptent sur le système de prétraitement venu d'un paquet
externe qui convert les données GRIB dans un format convenable qui est ingéré par
le processus de traitement de données réelles du WRF.
Les programmes qui produisent les conditions initiales spécifiques pour la fonction
de cas de données idéals ou de cas de données réelles utilisent la même façon. Ils
fournissent les informations ci-après à cœur dynamique du WRF:
   • Les données d'entrée qui est sur l'étalement horizontal et vertical correct
   • La référence hydrostatiquement équilibrée
   • Les métadonnées spécifiant de telles informations que la date, les
     caractéristiques physiques et les détails de projection.

2.2. WRF-VAR pour cœur ARW
L'assimilation de données est la technique par laquelle les observations sont
combinées avec un produit de prédiction météorologique numérique pour améliorer
l’estimation de l'état atmosphérique. Les différences entre l'analyse et les
observations sont réduites selon leur erreur perçue. Traditionnellement, les
observations sont celles « directes » de température, d'humidité, et de vent des
rapports de surface et de radiosonde. Car les techniques de télédétection
rétrogradent peu à peu, les observations « indirectes » sont de plus en plus
disponibles pour des chercheurs et des modeleurs opérationnels. L'utilisation
efficace de ces observations indirectes pour l'analyse objective n'est pas commune,
les méthodes généralement utilisées comportent les techniques de variations
tridimensionnelles ou quadridimensionnelles (« 3DVAR » et « 4DVAR »,
respectivement), qui est probablement aussi bien employées pour des observations
directes.
WRF-VAR est utilisé seulement pour le modèle ARW.

2.3. Cœurs dynamiques (ARW & NMM)
Les cœurs dynamiques du modèle WRF sont les composants les plus importants. Le
rôle du cœur est de traiter les données d’entrée pour relever les résultats de
prévision météorologique. Évidemment, le temps d’exécution du modèle dépend
beaucoup de la performance du cœur. Advanced Research WRF (ARW) et Non-
Hydrostatic Mesoscale (NMM) sont deux cœurs dynamiques du modèle WRF. On
peut considérer que le modèle WRF se compose de différents sous-modèles avec
même architecture mais en différents codes de cœurs correspondant au modèle
ARW ou au modèle NMM.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                            11
Application du modèle de prévision météorologique WRF au Vietnam 

Voici quelques caractéristiques essentielles du cœur ARW et du cœur NMM. Grâce
à ces informations, on peut trouver le meilleur cœur du modèle correspondant à des
tâches différentes.
   • Les caractéristiques communes.
           - Recherche de physique atmosphérique
           - Cas d’étude de recherche
           - Opération professionnelle de prédiction météorologique numérique du
             temps réel et recherche de système de pronostics
           - L'enseignement de la dynamique et de PNT
   • Pour ARW seulement.
           - Recherche du climat régional et de la période saisonnière
           - Applications du Coupled-model* (par ex. l'océan, la chimie).
           - Simulations idéalisées à beaucoup d’échelle (par ex. convection, les
             signes de baroclinic, les grandes simulations de tourbillon)
           - Recherche d'assimilation de données.

2.4. Les paquets de physique
Pour la simulation du climat réel et faire des simulations avec les résolutions
grossières, un ensemble minimal des composants de physique est exigé, par
exemple : la radiation, la couche limite, la surface de terrain, la convection, la
diffusion de tourbillon de sous-grille et la microphysique. Puisque le modèle est
développé pour la recherche et aussi pour les opérations, les plans de physique
sophistiqués et les plants de physique simples sont nécessaires dans le modèle. Les
objectifs du développement de physique WRF sont d'implémenter un ensemble
fondamental de la physique dans le modèle WRF et de concevoir une interface de
physique facile à utiliser.
Les options de physique du WRF tombent dans plusieurs catégories, chaque
catégorie entretient plusieurs options. Les catégories de physique sont :
la microphysique, le cumulus, la couche limite planétaire (PBL), le modèle de la
surface de terrain et la radiation.

2.5. Outil de post-traitement du WRF
Ce sont les logiciels qui permettent de visualiser les données sorties en graphique.
Les données de sortie sont dans le format de netCDF peuvent essentiellement être
visualisée en utilisant n'importe quel logiciel capable de traiter ce format de
données. Actuellement trois programmes utilités de post-traitement sont soutenus,
NCL, RIP4, ARWpost (le convertisseur à GrADS et à Vis5D). NCL et RIP4

TRAN Viet Trung ‐ Filière francophone de l’Informatique                          12
Application du modèle de prévision météorologique WRF au Vietnam 

peuvent seulement lire des données dans le format de netCDF, tandis qu'ARWpost
peut lire des données dans le format de GRIB1 et netCDF.
   a. NCL, Graphique NCAR
Graphique NCAR [3] était un outil graphique très populaire qui est très bien
documenté et largement utilisé. Il fournit les ingrédients de base pour créer des
figures complexes grâce à des fonctions / routines qui peuvent être appelées par des
programmes en Fortran ou en C. Une interface de programmation pour l'outil de
graphiques NCAR a été développée : NCL (NCAR Command Language, langage de
commande NCAR). Les interfaces de programmation fournissent l'accès à des
utilitaires graphiques complexes comme la détection de contours, la projection sur
la carte de la terre et le tracé de vecteurs vitesse. L'interface C est majoritairement
construite au-dessus de l'interface Fortran. NCAR est distribué sous la licence
publique générale GNU.




                                                                                           

                           Figure I-2 Graphique NCAR et RIP4

   b. RIP4
RIP4 [4] est un programme Fortran qui invoque des routines Graphiques NCAR
pour but de visualiser des ensembles de données météorologiques, essentiellement
des données des modèles numériques meso-échelles. Il peut aussi être utilisé pour
visualiser les données d’entrée du modèle ou les analyses de sortie sur les grilles du
modèle. Il a été développé depuis 1991, essentiellement par Mark Stoelinga tant à
NCAR qu'à l'Université de Washington. RIP est un composant officiel du modèle

TRAN Viet Trung ‐ Filière francophone de l’Informatique                             13
Application du modèle de prévision météorologique WRF au Vietnam 

WRF, mais il pourrait potentiellement être utilisé avec la production de n'importe
quel modèle numérique meso-échelle.
Le programme est conçu pour être portatif à n'importe quel système UNIX qui a un
compilateur Fortran 77 ou Fortran 90 et la bibliothèque Graphique NCAR.
   c. GrADS
Grid Analysis and Display System (GrADS) [5] est un outil d'analyse et de
visualisation interactif de données en sciences de la terre. Les données sont
généralement 4D (latitude, longitude, altitude et temps). Les opérations du GrADS
peuvent être exécutées directement sur les données en entrant les expressions
comme le langage FORTRAN à la ligne d'instruction et en mode interactif.
D’ailleurs, un ensemble riche des fonctions intégrées est fourni. En plus, les
utilisateurs peuvent ajouter leurs propres fonctions comme les routines externes
écrites dans n'importe quel langage de programmation. La syntaxe d'expression
permet des opérations complexes, par exemple : de grandes quantités de données
peuvent être exécutées avec les expressions simples.




                                                                      

                                Figure I-3 Image de GrADS




TRAN Viet Trung ‐ Filière francophone de l’Informatique                        14
Application du modèle de prévision météorologique WRF au Vietnam 

   d. Vis5D
Pour avoir des images de visualisation en 3 dimensions de données de sortie du
modèle WRF, on peut utiliser le programme Vis5D, qui était le premier logiciel
libre de visualisation en 3 dimensions de données météorologiques.




                                                                     

                                  Figure I-4 Logiciel Vis5D

Parmi lesquels, Graphiques NCAR était le programme le plus populaire pour
visualiser les données de sortie du modèle puisqu’il peut produire des images de
visualisation de qualité. Grâce à son interface de programmation, NCL, on peut
manipuler facilement les champs météorologiques de donnée en utilisant un grand
nombre de bibliothèques disponibles pour le modèle WRF.

3. Sous modèle WRF ARW
Comme je l’ai déjà mentionné dans le précédent secteur, on peut considérer que
WRF se compose de différents sous-modèles de même architecture mais en
différents codes de cœurs correspondant au modèle ARW ou au modèle NMM. Afin
de servir l’opération de prévision météorologique au Vietnam, après avoir consulté
les chercheurs expérimentés du Centre de Météo, nous avons le grand plaisir de
choisir le modèle ARW comme le but de recherche approfondie. Les connaissances
présentées ici constituent donc une base solide pour moi de bien déployer le
modèle.
Les composants de système du modèle ARW
La figure suivante montre l'ordinogramme pour le modèle ARW de la version 2 :




TRAN Viet Trung ‐ Filière francophone de l’Informatique                         15
Application du modèle de prévision météorologique WRF au Vietnam 



                                       Ideal 2D    Ideal 2D     Ideal 3D
                                          hill    Squall line   supercell


                                    Ideal 2D                      Ideal 3D
                                      grav                        baroclinic
                                                                   Waves




     Données
   géographiques                                                               NCAR graphics
     statiques                                                                    NCL

                                        WRF-Var

                          WPS                                    OUTPUT            RIP4


     Données du
    modèle global
  (NAM,GPS,RUC,                                                                   ARWpost
       NNRP)                                                                   (GRADS/Vis5D)




                                                   

                    Figure I-5 Les Composants du Système du modèle ARW

3.1. Le Système de prétraitement (WPS)
Le système de prétraitement (WPS) est un ensemble de trois programmes dont le
rôle collectif est de préparer la donnée d’entrée au programme « real.exe » pour les
simulations de données réelles. Chaque programme exécute un stade de la
préparation : le « geogrid » définit des domaines et interpole des données
géographiques statiques aux grilles; « ungrib » extrait des champs météorologiques
des fichiers au format de GRIB; et le « metgrid » interpole horizontalement les
champs météorologiques extraits par « ungrib » aux grilles définies par « geogrid ».
Le travail qui est d’interpoler verticalement les champs météorologiques aux
niveaux eta de WRF (eta levels) est maintenant exécuté dans le programme
« real.exe ».




TRAN Viet Trung ‐ Filière francophone de l’Informatique                                    16
Application du modèle de prévision météorologique WRF au Vietnam 




                                                                                       

                            Figure I-6 Système de prétraitement

L'écoulement des données entre les programmes du WPS est montré dans la figure
ci-dessus. Chacun des programmes WPS lit des paramètres d'un fichier namelist
commun, comme montré dans la figure.
Ce namelist a des parties séparées pour chacun des programmes et d'une partie
partagée, qui définit des paramètres utilisés par plus qu'un programme WPS. Il y a
encore des fichiers de table supplémentaires qui sont utilisés par les programmes
individuels ne sont pas montrés dans la figure. Ces tables fournissent le contrôle
supplémentaire sur l'opération des programmes, bien que généralement ils n'aient
pas besoin d'être changés par l'utilisateur.
Fonction de chaque programme du WPS
Programme geogrid
Le but de « geogrid » est de définir les domaines de simulation et d’interpoler des
ensembles de données terrestres différentes aux grilles-modèles. Le domaine de
simulation est défini en utilisant des renseignements spécifiés par l'utilisateur dans
la partie « geogrid » du fichier namelist.wps. Par défaut, en calculant la latitude et la
longitude pour chaque point de grille, « geogrid » interpolera des catégories de sol,
la catégorie d'utilisation de terrain, l’altitude de terrain, la température moyen
annuel du sol profond, la fraction de végétation mensuel, l'albédo de neige
maximum aux grilles-modèles.
Ensembles de données globaux pour chaque champ sont fournis par le site Internet
MMM et doivent seulement être téléchargé une seule fois. Plusieurs des ensembles
de données sont disponibles pour une seule résolution, mais d'autres sont disponible
dans les résolutions de 30”, 2’, 5’ et 10’. L'utilisateur n'a pas besoin de télécharger
toutes les résolutions disponibles pour un ensemble de données, bien que les
champs interpolés soient généralement plus représentatifs si une résolution de
données du source était près de laquelle du domaine utilisé de simulation. Pourtant,


TRAN Viet Trung ‐ Filière francophone de l’Informatique                               17
Application du modèle de prévision météorologique WRF au Vietnam 

les utilisateurs qui s'attendent travailler avec les domaines ayant des écartements de
grille qui couvrent une grande gamme peuvent vouloir finalement télécharger toutes
les résolutions disponibles des données terrestres.
En plus du fait d'interpoler les champs terrestres implicites, le programme
« geogrid » est assez général pour être capable d'interpoler la plupart des champs
continus et catégoriques aux domaines de simulation. Les ensembles de données
nouvelles et supplémentaires peuvent être interpolés au domaine de simulation par
l'aide du fichier de table, GEOGRID.TBL. Le fichier GEOGRID.TBL définit
chacun des champs qui seront produits par « geogrid »; il décrit les méthodes
d'interpolation d’un champ, aussi bien que l'endroit d’hébergement où l'ensemble de
données de ce champ est trouvé.
La production de « geogrid » est écrite au format E/S de WRF API et ainsi, en
choisissant le format E/S NetCDF, « geogrid » peut écrire sa production au format
NetCDF pour la visualisation facile en utilisant des paquets de logiciel externes.
Programme ungrib
Le programme « ungrib » lit des fichiers GRIB, interprète les données et les écrit
dans un format simple, appelé le format intermédiaire. Les fichiers GRIB
contiennent des champs météorologiques variables aux temps et sont au format d'un
autre modèle global, comme le NAM de NCEP ou les modèles de GFS. Le
programme « ungrib » peut lire les fichiers GRIB en version 1 et 2. En effet, les
fichiers GRIB contiennent plus de champs météorologiques qui sont nécessaires
pour initialiser WRF. Tant les versions du format de GRIB utilisent des codes
différents pour identifier les variables dans le fichier, « Ungrib » utilise des tables
des codes - appelé Vtables, qui contient la liste des variables - pour définir quels
sont les champs pour extraire et pour écrire au format intermédiaire. Vtables sont
fournis avec le programme « ungrib ».
D’ailleurs, Vtables sont disponibles pour le format des grilles NAM 104 et 212, le
NAM AWIP, GFS, la Réanalyse NCEP/NCAR archivée à NCAR, RUC (les
données de niveau de pression et les données de coordonnée hybrides) et
l’AGRMET AFWA qui rapporte la production de surface du modèle. Les
utilisateurs peuvent créer leur propre Vtable pour d'autre production du modèle en
utilisant n'importe quel Vtables comme un gabarit,
« Ungrib » peut écrire des fichiers de données intermédiaires à un de trois formats
d'utilisateur-selectable suivants :
       • WPS - un nouveau format contenant des renseignements supplémentaires
         utiles pour optimiser l’exécution des programmes du modèle WRF.
       • Le SI - le format intermédiaire précédent du modèle WRF.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                             18
Application du modèle de prévision météorologique WRF au Vietnam 

       • Le format de MM5, qui est inclus ici pour que « ungrib » puisse être
         utilisé pour fournir les données d’entrée au format GRIB2 au système du
         modèle MM5.
Certes, n'importe quel format peut être utilisé par WPS afin d’initialiser le modèle
WRF, mais le format de WPS soit recommandé.
Les données météorologiques du modèle global pour « ungrib » :
Les fichiers GRIB sont séparés en plusieurs sections, les sections, avant chaque
enregistrement, décrivent quelles données sont contenues dans l'enregistrement
(paramètres, temps de début, temps de prévision, résolution de la grille etc.) et la
dernière section contient les données binaires elles-mêmes. Les principales données
disponibles sont :
   • Réanalyses NCEP/NCAR :
       « NCEP/NCAR Reanalysis Project » est un projet commun entre les NCEP
       (National Centers for Environmental Prediction) et le NCAR (National
       Center for Atmospheric Research). Le but de ce projet était de fournir de
       nouvelles analyses atmosphériques en utilisant les données historiques et
       ainsi produire l'analyse de l'état de l'atmosphère actuelle. Ces données
       globales ont une résolution de 2.5 x 2.5 degrés, elles sont disponibles toutes
       les 6 heures depuis 1948.
   • Réanalyses ECMWF (format GRIB):
       La réanalyse appelée ERA-40 a été effectuée par le « European Centre » for
       « Medium-Range Weather Forecasts » (ECMWF) pendant des années de
       1957 à 2001. Le ECMWF avait déjà effectué une réanalyse pendant la
       période de 1979 à 1993, le projet ERA-15, mais le projet ERA-40 est
       beaucoup plus complexe, puisqu'il recouvre quarante années. De plus, ce
       projet est d'autant plus complexe qu'il couvre des périodes où les avancées
       technologiques en matière d'observations météorologiques ont été très
       importantes, notamment avec l'apparition et la généralisation de l'utilisation
       des satellites. Comme précédemment les données sont globales et
       disponibles à une résolution de 2.5 x 2.5 degrés toutes les 6 heures.
   • Prévisions NCEP GFS/AVN (format GRIB):
       Un modèle numérique de prévision qui produit en temps réel des données de
       prévision jusqu'à 360 heures (15 jours).
Les données de réanalyse sont des données obtenues à partir des modèles lancés sur
plusieurs années en mode d’assimilation de données. Des données d'observations
sont donc introduites au modèle. Selon le type de simulation que l'on souhaite
effectuer, l'utilisation de certains types de données est préférable. Dans le cadre de

TRAN Viet Trung ‐ Filière francophone de l’Informatique                            19
Application du modèle de prévision météorologique WRF au Vietnam 

simulations à long terme, les données de réanalyse sont très utiles. Par contre pour
effectuer des prévisions, les données GFS/AVN sont appropriées.
C’est pour ces raisons qu’il est préférable d'utiliser des données GFS/AVN, en effet
la compréhension des phénomènes passés permet notamment, en comparaison avec
les simulations numériques, d'améliorer les modèles de prévision utilisés en
intégrant le maximum d'observations. Cela revient à utiliser le maximum de
données disponibles pour mieux décrire les phénomènes atmosphériques.
Programme metgrid
Le programme « metgrid » interpole horizontalement les données météorologiques
au format intermédiaire qui sont extraits par le programme « ungrib » sur les
domaines de simulation que le programme « geogrid » a bien défini. La production
interpolée par « metgrid » peut alors être ingérée par le programme « real.exe ».
Les durées de temps interpolées par « metgrid » sont définies dans la partie "share"
de liste de nom du fichier namelist.wps de WPS, ils doivent être spécifiées
individuellement dans le namelist pour chaque domaine de simulation. Puisque le
travail du programme « metgrid », comme cela du programme « ungrib », est
dépendant de temps, le programme « metgrid » est initialisé chaque fois qu’on
dirige une nouvelle simulation.
Le contrôle de comment chaque champ météorologique est interpolé est fourni par
le fichier METGRID.TBL. Concrètement, le fichier METGRID.TBL fournit une
section à chaque champ et dans une section, il est possible de spécifier des options
comme les méthodes d'interpolation. La production de « metgrid » est écrite dans le
format d'E/S WRF API et ainsi, en choisissant le format d'E/S NetCDF, « metgrid »
peut écrire sa production au format NetCDF pour la visualisation facile en utilisant
des paquets de logiciel externes, en incluant la nouvelle version de RIP4.
Parallélisme dans le WPS
Si les dimensions des domaines traités par le WPS deviennent trop grandes pour se
situer dans la mémoire d'une seul unité centrale, il est possible d’exécuter le
programme « geogrid » et le programme « metgrid » dans une configuration de
mémoire distribuée.
Pour compiler « geogrid » et « metgrid » à l'exécution en mémoire distribué,
l'utilisateur doit avoir des bibliothèques MPI installées sur la machine prévue et doit
avoir compilé WPS en utilisant une "options de configuration" de "DM parallel".
Lorsque la compilation réussie, les programmes « geogrid » et « metgrid » peuvent
être exécutés avec l'instruction mpirun (du MPICH) ou poe (du MPI de l’IBM AIX
1600), selon la machine.




TRAN Viet Trung ‐ Filière francophone de l’Informatique                             20
Application du modèle de prévision météorologique WRF au Vietnam 

Comme on l'a mentionné plus tôt, le travail du programme « ungrib » n'est pas
disponible à la parallelization et, de plus, les exigences de mémoire pour le
traitement de « ungrib » sont indépendantes des exigences de mémoire de
« geogrid » et de « metgrid » ; ainsi, « ungrib » est toujours compilé pour une seul
unité centrale et dirigé sur une seule unité centrale, sans tenir compte sur "option de
configuration" de "DM parallel" a été choisie pendant la configuration.


Programme                                      Parallelization
Geogrid.exe                                    Oui
Ungrib.exe                                     Non
Metgrid.exe                                    Oui

                           Tableau I-1 Parallélisme dans le WPS

Chacun des formats d'E/S de WRF API standard (NetCDF, GRIB1, binaires) a un
format parallèle correspondant, dont le code est donné en ajoutant 100 à la valeur
d'io_form (par exemple, io_form_geogrid) pour le format standard. Il n'est pas
nécessaire d'utiliser un io_form parallèle, mais quand on l’a utilisé, chaque unité
centrale lira (écrira) sa donnée d’entrée (ou de sortie) sur un fichier séparé, dont le
nom est simplement le nom qui serait utilisé pendant l'exécution série, mais avec
une carte d'identité d'unité centrale de quatre chiffres ajoutée au nom.
Par exemple, exécuter « geogrid » sur quatre unités centrales avec
io_form_geogrid=102     créerait  geo_em.d01.nc.0000,    geo_em.d01.nc.0001,
geo_em.d01.nc.0002 et geo_em.d01.nc.0003 pour le domaine grossier.
Pendant l'exécution dans la mémoire distribuée, les domaines-modèles sont
décomposés dans les pièces rectangles. Par conséquent, si un parallèle io_form est
choisi pour la sortie de « geogrid », « metgrid » doit être dirigé en utilisant le même
nombre d'unités centrales qu'ont été utilisés pour diriger « geogrid ». De même si un
parallèle io_form est choisi pour les fichiers de sotie « metgrid », le programme
« real.exe » doit être dirigé en utilisant le même nombre d'unités centrales.
Évidemment, il est toujours possible d'utiliser une seule norme io_form en dirigeant
sur plusieurs des unités centrales, dans ce cas, toutes les données d’entrée et même
de sortie sont distribués. Comme une note finale, quand « geogrid » ou « metgrid »
sont dirigés par plusieurs des unités centrales, chaque unité centrale écrira son
propre fichier de journal (log file), avec les noms des fichiers étant ajoutés avec les
mêmes codes de carte d'identité d'unité centrale de quatre chiffres qui sont utilisés
pour les fichiers d'E/S de WRF API.

3.2. Initialisation du modèle ARW
Introduction

TRAN Viet Trung ‐ Filière francophone de l’Informatique                             21
Application du modèle de prévision météorologique WRF au Vietnam 

Le modèle ARW a deux grandes classes de simulations qu'il est capable de
produire: Ceux sont avec une initialisation idéale et ceux utilise les données réelles
pour l'initialisation.
Ci-dessous, nous allons présenter tous les deux types d’initialisation du modèle
WRF ARW.




                                                                           

                         Figure I-7 Initialisation du modèle ARW

La sélection du type de simulations de prévision est faite en exécutant l’instruction
«./compile ». Si l'utilisateur choisit « ./compile em_real », le programme
d'initialisation sera construit en utilisant un des modules prévus du cas de données
réelles (un des fichiers ./WRFV2/dyn_em/module_initialize_*.F). Pour chaque
programme d’initialisation, la même sorte d'activités continue à faire :
   • Lire les données du fichier namelist
   • Allouer l'espace de mémoire
   • Calculer l'état de base (états de l’initialisation)
   • Initialiser le reste de variables
   • Produiser le fichier de condition initial (wrfinput_d*, wrfbdy_d*)
Le cas de données réelles fait un peu de travail supplémentaire :
   • Lire les données d'entrée approvisionné par le WPS ou le SI) si ce sont les
     données du WPS, calculer la pression sèche de surface, les niveaux (level) du
     modèle et interpoler verticalement des données
   • Calculer le profil de température de référence (différence avec les cas idéals,
     tenir compte des normes saisonnières)
   • Préparer des champs de sol pour l'utilisation dans le modèle (l'interpolation
     verticale aux niveaux demandés)



TRAN Viet Trung ‐ Filière francophone de l’Informatique                            22
Application du modèle de prévision météorologique WRF au Vietnam 

   • Faire les chèques pour vérifier les catégories de sol, terrain d'utilisation, le
     masque de terrain, la température de sol, la température de surface de la
     marine. Tous ce sont en accord l'un avec l'autre
   • Les 3D données (u, v, t, q, ph) sont couplés avec les facteurs de carte (sur
     l'étalement correct) et le total « mu »
Initialisation pour les cas de données idéales
Le programme "idéal" est une alternative dans le système ARW. Il permet de faire
initialisation pour les cas de données idéals. Typiquement, ce programme n'exige
aucun de donnée d’entrée. Le programme « ideal.exe » se concentre seulement aux
les travaux de recherche, donc on ne fait pas les recherches approfondies ici.




                                 Ideal 2D    Ideal 2D      Ideal 3D
                                    hill    Squall line    supercell


                              Ideal 2D                       Ideal 3D
                                grav                         baroclinic
                                                              Waves




                                                                           

                 Figure I-8 Initialisation pour les cas de données idéaux

Les cas de données idéales disponibles sont comme ci-dessous :
   •   Squall2d_x (test/em_squall2d_x)
           -   La ligne de rafale 2D (x, z) utilisant la microphysique de Kessler et
               300 m^2/s fixés viscosité.
           -   La condition période utilisé dans l’axe y pour que le modèle 3D
               produise la 2D simulation.
           -   La vitesse v devrait être le zéro et il ne devrait y avoir aucune
               variation dans l’axe y aux résultats.
   •   Squall2d_y (test/em_squall2d_y)
           -   Même comme squall2d_x, sauf avec (x) tourné à (y).
           -   La vitesse u devrait être le zéro et il ne devrait y avoir aucune
               variation dans l’axe x aux résultats.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                           23
Application du modèle de prévision météorologique WRF au Vietnam 

   •   La simulation de supercellule en quart-cercle 3D (test/em_quarter_ss).
           -   Les supercellules mouvantes à gauches et à droites sont produites.
   •   L’écoulement sur             une      colline      en      forme   de   cloche   2D   (x,   z)
       (test/em_hill2d_x)
           -   Avec la demi-largeur de 10 kms, la longueur de grille de 2 kms, la
               colline de 100 m de haut, l’écoulement de 10 m/s,
           -   N=0.01/s, domaine de 30 kms de haut, 80 niveaux, les limites
               ouvertes radiatives, absorption de la limite supérieure.
           -   Ce cas est dans le régime hydrostatique linéaire.
   • Vagues baroclinic 3D (test/em_b_wave).
Initialisation pour les cas de données réelles
Le cas de données réelles était très important dans le modèle ARW avec lequel on
pourra exécuter le modèle jour après jour pour servir des opérations de prévision
météorologique. Ce sera donc également le type d’initialisation du ARW déployé au
centre HPC.

                      Donées
                   géographiques
                     statiques



                                               WPS


                     Donées du
                    modèle global
                  (NAM,GPS,RUC,
                      NNRP)




                Source externe de donnée
                                           Système de
                                           prétraitement du WRF
                                                                                         

                 Figure I-9 Initialisation pour les cas de données réelles

Les données réelles sont fournies par le Système de Prétraitement (WPS).
Fonctionnellement, WPS produit les données de sortie qui sont introduites ensuite
au programme « real.exe » comme les données d’entrée. WPS envoie des données
ci-dessous qui sont prêts à être utilisées dans le programme « real.exe »:
   •   Les données d’entrées au format E/S de l’API de WRF.
   •   Les données ont déjà été interpolé horizontalement au point de grille correct
       pour chaque variable.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                            24
Application du modèle de prévision météorologique WRF au Vietnam 

   •   Les données météorologiques 3D du WPS : u, v, theta, mélange de ratio
   •   Les données 3D de surface du WPS : la température de sol, l'humidité de sol,
       le liquide de sol
   •   Les données météorologiques 2D du WPS : La totale pression de surface
       sèche
   •   Les données statiques 2D : Le terrain, les catégories de terrain, les
       informations de sol, les facteurs de carte, Coriolis, la rotation de projection,
       les données interpolées mensuelles.
   •   La matrice 1D de la coordonnée verticale
   •   Constants : la taille du domaine, la date, les listes de champs optionnels
       disponibles, le coin latitude/longitude

3.3. Cœur ARW du WRF
Le coeur ARW a pour un modèle complètement compressible et nonhydrostatique
(avec une option hydrostatique). Sa coordonnée verticale est une coordonnée de
pression hydrostatique suivant le terrain. L'étalement de grille est la C-grille
Arakawa. De plus, le modèle utilise les projets 2D et 3D d'intégration de temps
d'ordre Runge-Kutta et projets à l’ordre 2D de 6D d'advection dans les directions
tant horizontales que verticales.




                                                                                 

          Figure I-10 Coordonnée de pression hydrostatique suivant le terrain

Le modèle ARW (avec cœur ARW) soutient une variété de capacités. Celle-ci
inclut :
   • Les simulations avec les données réelles et les données idéalisées
   • Les options de conditions limites latérales différentes pour les simulations
     avec les données réelles et les données idéales


TRAN Viet Trung ‐ Filière francophone de l’Informatique                             25
Application du modèle de prévision météorologique WRF au Vietnam 

   • Les options complètes de physique
   • Bien-déterminé-positif d'advection
   • Non-hydrostatique et hydrostatique (l'option à la durée d'exécution)
   • Emboîtement « one-way », « two-way », emboîtement mouvant
   • Analyse en trois dimensions.
   • Assimilation des données d’observation.
Emboîtement du ARW
L'ARW soutient la technique d’emboîtement horizontal qui permet la résolution
d'être concentrée sur une région d'intérêt en présentant une grille supplémentaire (ou
les grilles) dans la grille de simulation. Certes, cette implémentation d’emboîtement
est en façons semblables aux implémentations dans d'autre modèle méso-échelle
(par exemple MM5). Mais, l'amélioration importante du technique d’emboîtement
de l'infrastructure du ARW par rapport aux techniques utilisées dans d'autres
modèles est la capacité de calculer efficacement en parallèle la simulation avec des
grilles d’emboîtement.
Actuellement, il est possible de choisir un emboîtement dit « two-way » ou « one-
way ». En « one-way » seul le domaine grossier peut affecter le domaine plus fin.
Les conditions limites du domaine fin sont dérivées de celles du domaine grossier
par interpolation. En « two-way » les résultats sur le domaine fin peuvent affecter la
solution sur le domaine grossier, par conséquent l'interaction est totale entre les
différents domaines.




                                                                                          

                        Figure I-11 Emboîtement du modèle ARW




TRAN Viet Trung ‐ Filière francophone de l’Informatique                            26
Application du modèle de prévision météorologique WRF au Vietnam 

4. Conclusion
Dans ce chapitre on a eu une vue globale de différents modules composant du
modèle WRF et en particuler une vue globale du système du sous modèle WRF
ARW. Ceci a permis une première approche et était indispensable pour pouvoir
ensuite utiliser le modèle ARW à bon escient. Les chapitres qui suivent,
mentionnent son application à la réalité.
À partir de ce chapitre, le nom «Modèle WRF » est utilisé pour indiquer le modèle
WRF ARW puisque ce nom est utilisé plus populairement.




TRAN Viet Trung ‐ Filière francophone de l’Informatique                       27
Application du modèle de prévision météorologique WRF au Vietnam 


     CHAPITRE II                 Calcul à haute performance avec WRF

Grâce aux connaissances théoriques du modèle de prévision météorologiqueWRF,
On sera le déployer sur les ordinateurs à haute performance. Ce travail permet de
renforcer les connaissances théoriques et également d’apporter le premier résultat le
plus important afin qu’un système professionnel de prévision météorologique soit
bien construit et appliqué au Vietnam.

1. Matériel
Le modèle WRF sera déployé sur tous les trois superordinateurs à haute
performance : Bkluster, IBM eserver 1350, IBM AIX eserver 1600. Le déploiement
du modèle sur BKluster a pour but d’exploiter les prévisions vers les utilisateurs
ordinaires. En revanche, Le modèle WRF sera déployé sur tous les deux
superordinateurs du centre HPC de l’université nationale de Hanoi pour être
exploité par les chercheurs du Centre de Météo (CM), Université Nationale de
Hanoi.

1.1. Bkluster
Centre HPC est équipé un cluster comportant :
   • 2 Nœuds de calcul. Chaque nœud se compose d’un processeur avec coeur
     double Intel Xenon 2.66 GHz, mémoire centrale : 2 GO, disque dur 80 GO.
   • 1 Nœud de serveur se compose d’un processeur avec coeur double Intel
     Xenon 3.0 MHz, mémoire centrale : 1 GO, disque dur 240 GO
   • Interfaces réseau : GEthernet.
   • Système d'exploitation : CenOS 5
   • Compilateur : Fortran, C, C++ du Portland Group version 7.0
   • Bibliothèque de programmation par passages de messages : MPICH 1.2.7
     et MPICH 2 – version 1.0.3
   • Performance totale du système : ≈ 10 GFlops.

1.2. IBM eServer Cluster 1350
   • 8 Noeuds de calcul, Chaque noeud se compose de deux processeurs Intel
     Xeon Dual Core 3.2 GHz, 2GB RAM, 1x36 GB HDD, DVD ROM.
     Performance totale du système (8 noeuds) :≈ 51.2 GFlops
   • 2 Noeuds de stockage, Chaque noeud se compose de deux processeurs Intel
     Xeon Dual Core 3.2 GHz, 3 GB RAM, 4x72 GB HDD


TRAN Viet Trung ‐ Filière francophone de l’Informatique                           28
Application du modèle de prévision météorologique WRF au Vietnam 

   • 1 Noeud de gestion, se compose un processeur Intel Xeon Dual Core 3.2, 3
     GB RAM, 2x36 GB HDD
   • Équipement de stockage : IBM EXP400 Ultra320 SCSI Storage Enclosure,
     10x73 GB HDD SCSI 320 MBps 15KRpm, système de fichier disque-
     partagé : GPFS pour Linux v2.3.0.5
   • Système d’exploitation : HĐH Redhat Enterprise Linux 3.0
   • Interfaces réseau : GEthernet

1.3. IBM eserver Cluster 1600
   • 5 Nœuds de calcul pSeries 655, Chaque nœud se compose de 4 CPU Power
     4+ 64 (2core) bit RISC 1.7 GHz du IBM; cache 5.6MB ECC L2, 128MB
     ECC L3, largeur de bande du cache : 72.3 GBps; 32GB RAM, largeur de
     bande du mémoire 51.2 GBps; 6x36 GB HDD. Performance totale du
     système (5 nœuds) : 240 GFlops (limite d’enlargir : 768 GFlops/16 noeuds).
   • 1 nœud de gestion CSM p630: Power4+ 64 bit (2 core) 1.2 GHz; cache 1.5
     MB ECC L2, 8MB ECC L3, Largeur de bande du cache: 12.8 GBps; 1GB
     RAM, Largeur de bande du mémoire : 6.4 GBps; 6x36 GB HDD, DVD
     ROM.
   • 1 Nœud de contrôle du matériel HCM: Intel Xeon 3.06 GHz, 1GB RAM, 40
     GB HDD, DVD RAM.
   • Tous les nœuds se connectent par HPS (Switch à haute performance),
     Largeur de bande : 2GBps GEthernet.
   • Équipement de stockage partagé : IBM DS4400 et EXP700 connectent au
     Système IBM 1600 par Cable optique 2Gbps.

  300
  250
  200
  150                                                                         Performance de calcul
  100
   50
    0
               Bkluster           IBM eserver 1350         IBM eserver 1600


        Figure II-1 Comparaison de la performance de calcul entre trois systèmes.


La figure II-1 montre que la performance de calcul du système IBM AIX eserver
1600 était la plus haute de tous les trois. Pourtant, la performance réelle dans les
problèmes concrets ne reflète pas totalement comme ceci montré dans cette figure.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                           29
Application du modèle de prévision météorologique WRF au Vietnam 

2. Environnement du logiciel

2.1. Compilateurs et langage de programmation demandés
Le modèle WRF est écrit en langage Fortran (comme Fortran 77, Fortran 90). Parmi
les composants du modèle WRF, RSL et maintenant RSL_LITE, qui s'assoit entre
WRF et l'interface MPI est écrit en langage C. Il y a aussi des programmes
auxiliaires qui sont écrits en C pour exécuter l'analyse syntaxique et la construction
de fichiers.
Donc, un compilateur C est aussi nécessaire pour compiler des programmes et des
bibliothèques externes.
Supplémentairement, le mécanisme de bâtiment du WRF utilise plusieurs langage
de script : perl (pour manipuler les tâches différentes comme le navigateur de code),
Cshell et Bourn Shell. Les outils traditionnels de traitement de texte sous UNIX
sont utilisés : make, M4, sed et awk.
Le WRFSI est surtout écrit dans le langage Fortran 77 et le langage Fortran 90 avec
quelques routines en langage C. Les scripts de Perl sont utilisés pour diriger les
programmes et Perl/Tk est utilisé pour GUI ( interface graphique pour l’utilisateur).
“Make” est utilisé dans la construction de tout executables.

2.2. Les bibliothèques optionnelles
La seule bibliothèque qui est presque toujours exigée est le paquet netCDF [6]
d'Unidata, puisque le modèle WRF utilise les bibliothèques netCDF pour lire et
écrire les données de sorties et les données temporaires en format netCDF.
Pour la mémoire distribuée, il faut installer une bibliothèque de programmation par
passages de messages (MPICH, PVM) [7]. Parmi toutes les versions du MPICH, la
version 2 du mpich est recommandée.
En ce qui concerne les programmes utiles pour visualiser les données temporaires
du modèle, on a besoin également des bibliothèques du Graphique NCAR installés
sur le système.
Par ailleurs, il y a trois bibliothèques qui seront exigées par le programme ungrib
pour soutenir l'Édition GRIB 2 [8] de compression.
   • JasPer (une implémentation de la norme JPEG2000 pour la compression
     "lossy")
   • Zlib (une autre bibliothèque de compression, qui est utilisée par la
     bibliothèque PNG)
   • PNG (la bibliothèque de compression pour la compression "lossless")



TRAN Viet Trung ‐ Filière francophone de l’Informatique                            30
Application du modèle de prévision météorologique WRF au Vietnam 

3. Domaines de calcul
En considération de la performance totale de trois systèmes (BKluster,IBM eserver
1350, IBM eserver 1600), des expériences et des résultats, les différents domaines
de calcul seront utilisés pour chaque système.

3.1. Domaine de calcul au Bkluster.
La performance totale du système BKluster était plus faible, c’est la raison pour
laquelle le domaine à calcul est déterminé le plus petit. La résolution horizontale de
ce domaine (Figure II-2) composant 112x61 points est de 18km. En plus, ce
domaine recouvre seulement le Vietnam. Pour servir les opérations de prévision
fondamental comme la prévision de température, la prévision de condition du ciel,
ce domaine est acceptable.
Les paramètres du domaine Vietnam1 :


 e_we          = 61,
 e_sn         = 112,
 geog_data_res = '30s',
 dx = 18000,
 dy = 18000,
 map_proj = 'lambert',
 ref_lat = 15.8,
 ref_lon = 105.4,
 truelat1 = 15,
 truelat2 = 15,
 stand_lon = 105,


                                                                                       

                                                           Figure II-2 Domaine Vietnam1

3.2. Domaine de calcul au IBM eserver 1350.
Le premier domaine (Figure 2-1) recouvre l'Asie du Sud-est: 5-30o N, 90-125o E. Il
se compose de 50x70 points avec la résolution horizontale égale à 54km.
Verticalement, ce domaine se divise en 23 niveaux sigma à partir de la surface
jusqu'à 100mb.
Les paramètres du domaine DNA_nested :

 e_we          = 70,61,

TRAN Viet Trung ‐ Filière francophone de l’Informatique                              31
Application du modèle de prévision météorologique WRF au Vietnam 


    e_sn      = 50,100,
    dx = 54000,
    dy = 54000,
    map_proj = 'lambert',
    ref_lat = 17.5,
    ref_lon = 107.5,
    truelat1 = 17.5,
    truelat2 = 17.5,
    stand_lon = 107.5,
 




                                                                                        

                             Figure II-3 Domaine DNA_nested

Le deuxième domaine était exactement le domaine utilisé au Bkluster. Ce domaine
recouvre tout le Vietnam et il est parfaitement emboîté au premier. Utilisant le
premier domaine qui a le rayon d’observation plus large, les chercheurs pourront
faire des prévisions de la tendance de la météo comme les saisons, les tempêtes, les
orages…




TRAN Viet Trung ‐ Filière francophone de l’Informatique                          32
Application du modèle de prévision météorologique WRF au Vietnam 

3.3. Domaine de calcul au IBM eserver 1600
Évidemment, IBM eserver 1600 était le système le plus puissant des trois systèmes.
C’est pourquoi ses domaines à calcul se composent de deux domaines ci-dessus et
encore des domaines plus petits pour chaque région du pays. Ces petits domaines
ont possibilité d'avoir une résolution égale de 6 km pour une prévision météo plus
précise.
Les paramètres du domaine DNA_nested2 :

 e_we          = 70,61,100,70,76,97,                       e_sn     = 50,112,64,76,79,61,
 dx = 54000,
 dy = 54000,
 map_proj = 'lambert',
 ref_lat = 17.5,
 ref_lon = 107.5,
 truelat1 = 17.5,
 truelat2 = 17.5,
 stand_lon = 107.5,




                                                                                             

                             Figure II-4 Domaine DNA-nested2


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                33
Application du modèle de prévision météorologique WRF au Vietnam 

4. Données du modèle ARW

4.1. Données météorologiques
Les sources de données utilisées pour modèle ARW sont extraites à partir des autres
modèles régionaux ou des modèles globaux au format GRIB1 ou GRIB2 comme le
modèle GFS/AVN, modèle NAM… Pourtant, selon les chercheurs au Centre de
Méteo, Il vaut mieux utiliser les données météorologiques extraites du modèle
global GFS/AVN. Ces données peuvent être utilisées afin de prévoir le temps pour
16 jours, l'intervalle entre les prévisions est de 3 heurs, et le moment d'analyse est:
0h, 6h, 12h, et 18h (UTC/GMT). En réalité, les calculs effectués par un modèle
numérique voient leur fiabilité diminuer à mesure que leur échéance s'éloigne du
moment des relevés d'observation. Le système de prévision numérique du temps
ARW s'applique donc à des échéances allant au-delà de 3 jours à partir du moment
de l'observation.
On peut télécharger les données chaque jour sur le site :
ftp://ftpprd.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/

4.2. Données géographiques
Modèle ARW nécessite des données de topographie, végétation, eau, type de sol.
Toutes ces données sont disponibles à différentes résolutions, c’est-à-dire 1degré,
30, 10, 5 ou 2 min, et 30seconds. Des données globales sont disponibles à l'USGS
(US Geological Survey), elles sont téléchargeables sur :
http://www.mmm.ucar.edu/wrf/src/wps_files/geog.tar.gz
Pour toutes les résolutions exceptées celle à 30 secondes, la base est constituée par
une carte topographique en 2 dimensions (courbes de niveau). Les courbes de
niveaux sont numérisées afin d'obtenir un fichier de points comprenant les
paramètres topographiques suivants : longitude (X), latitude (Y), altitude (Z).

5. Déploiement des modules du modèle ARW

5.1. Module WPS
Il y a essentiellement trois pas principaux à exécuter le Prétraitement WPS :
   • Définir un domaine du modèle et des domaines emboîtés avec « geogrid ».
   • Extraire des données météorologiques des ensembles de données GRIB pour
     la simulation en période avec « ungrib ».
   • Interpoler horizontalement des données météorologiques aux domaines du
     modèle avec « metgrid ».



TRAN Viet Trung ‐ Filière francophone de l’Informatique                             34
Application du modèle de prévision météorologique WRF au Vietnam 

Quand les simulations multiples doivent être dirigées pour les mêmes domaines, il
est seulement nécessaire d'exécuter le premier pas une fois ; par la suite, les données
seulement variables de temps comme les données météorologiques doivent être
traitées pour chaque simulation en utilisant tous les deux : deuxième pas et
troisième pas. Les détails de ces trois pas sont présentés ci-dessous.




                                                                              

             Figure II-5 Processus de l’execution des programmes du WPS

Pas 1 : Définir des domaines du modèle avec geogrid
Les domaines sont définis dans la partie "geogrid" du fichier namelist.wps et, en
plus, les paramètres dans la partie "share" doivent également être bien rédigés.
Les champs de base à configurer sont:
Dans la partie « share » du namelist.wps
max_dom = 2,
La valeur de ce champ spécifie le nombre total de domaines, en incluant le domaine
parental et les domaines emboîtés dans la simulation.
io_form_geogrid = 2,
Ce champ signifie le format d'E/S du WRF API dans lequel les fichiers de domaine
créés par le programme « geogrid » seront écrits. Les options possibles sont : 1 pour
le format binaire; 2 pour le format NetCDF; 3 pour le format GRIB1. Quand
l'option 1 est donnée, les fichiers de domaine auront un suffixe de .int; quand
l'option 2 est donnée, les fichiers de domaine auront un suffixe de .nc; quand
l'option 3 est donnée, les fichiers de domaine auront un suffixe de .gr1. La valeur
implicite est 2 (le format NetCDF).
opt_output_from_geogrid_path = './',


TRAN Viet Trung ‐ Filière francophone de l’Informatique                             35
Application du modèle de prévision météorologique WRF au Vietnam 

C’est une chaîne de caractères qui signifie le chemin, relatif ou absolu, à l'endroit
d'où les fichiers de sortie de « geogrid » devraient être écrits et lus. La valeur
implicite est ‘. / ’.
Dans la partie « share » du namelist.wps
Pour définir la projection de domaines, les champs suivants doivent être bien
rédigé :
           − MAP_PROJ: ‘lambert’, ‘mercator’, ‘polar’, or ‘rotated_ll’ ;signifie le
             type de la projection
           − TRUELAT1: Première vraie latitude
           − TRUELAT2: Deuxième vraie latitude (seulement pour « Lambert
             conformal”)
           − STAND_LON: le méridien parallèle à l'axe y
Définir la région couverte (les dimensions et l'endroit) par le domaine grossier en
utilisant les champs suivants :
           −   REF_LAT, REF_LON : le (lat, lon) d'un endroit connu dans le
               domaine (par défaut, le point au coeur du domaine)
           − DX, DY: la distance de Grille aux deux directions x et y (unité de
             mesure est dans mètres)
           −   E_WE : Le nombre de points dans la direction est-ouest.
           − E_SN : Le nombre de points dans la direction nord-sud.




                                                                          

                     Figure II-6 Définir un domaine du modèle WRF




TRAN Viet Trung ‐ Filière francophone de l’Informatique                           36
Application du modèle de prévision météorologique WRF au Vietnam 

Après avoir bien configuré la partie « share » et la partie « geogrid », le programme
« geogrid.exe » pourra être exécuté en façon parallèle ou non :
. /geogrid.exe
./mpirun –n 4 ./geogrid.exe
Ce message suivant serait affirmé si le programme « geogrid.exe » est bien
exécuté :
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
! Successful completion of geogrid. !
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Pas 2 : Extraire des champs météorologiques des fichiers GRIB avec
« ungrib ».
Après avoir téléchargé des données météorologiques dans le format de GRIB, le
premier pas dans l’extraction des champs au format intermédiaire implique de
rédiger la partie « share » et « ungrib » du fichier namelist.wps - le même fichier qui
a été rédigé pour définir les domaines de simulation.
Les champs de base à configurer sont:
Dans la partie « share » du namelist.wps
start_date = '2006-08-16_12:00:00','2006-08-16_12:00:00',
end_date = '2006-08-16_18:00:00','2006-08-16_12:00:00',
Ces champs représentent deux listes de nombres entiers de MAX_DOM éléments
qui spécifient la date de commencement et la date de fin au temps d'UTC de la
simulation pour chaque domaine. 
interval_seconds = 21600
Ce champ représente l’intervalle de secondes entre les fichiers d'entrée
météorologiques variables du temps.
Dans la partie « ungrid » du namelist.wps
out_format = 'WPS',
On pourrait définir le format des données intermédiaires à être écrites par
« ungrib ». Le programme metgrid peut lire n'importe quels formats comme ‘WPS’,
‘SI’ et ‘MM5’.
Après avoir modifié convenablement le fichier namelist.wps, un Vtable doit être
fourni et les fichiers GRIB doivent être reliés (ou copiés) aux fichiers dont les noms
sont attendus par « ungrib ». Par exemple, si les données GRIB sont du modèle
GFS, cela peut être accompli par la commande suivante :


TRAN Viet Trung ‐ Filière francophone de l’Informatique                             37
Application du modèle de prévision météorologique WRF au Vietnam 

> ln -s ungrib/Variable_Tables/Vtable. GFS Vtable
Pour simplifier le travail de relier les fichiers GRIB aux fichiers que le programme
« ungrid.exe » attend, on pourra utiliser un script de commandes, link_grib.csh. Le
script link_grib.csh prend une liste des fichiers GRIB comme les arguments de ligne
d'instruction.
Sur bkluster, les données GRIB ont été téléchargées au répertoire
modelWRF/autoWRF/datas/gfs2008050412/, les fichiers sont reliés avec
link_grib.csh par les commandes suivantes :
>ls ~/modelWRF/autoWRF/datas/gfs2008050412/
-rw-r--r-- 1 trungtvk48 trungtvk48 14156270 May 4 23:42 gfs.t12z.pgrbf00.grib2
-rw-r--r-- 1 trungtvk48 trungtvk48 15921185 May 4 23:42 gfs.t12z.pgrbf03.grib2
-rw-r--r-- 1 trungtvk48 trungtvk48 15793049 May 4 23:42 gfs.t12z.pgrbf06.grib2
>link_grib.csh ~/modelWRF/autoWRF/datas/gfs2008050412/gfs.t12z.pgrbf *
Après avoir rédigé le fichier namelist.wps et relié le fichier Vtable approprié et les
fichiers GRIB, le programme « ungrib.exe » peut être exécuté pour produire des
fichiers de données météorologiques au format intermédiaire choisi.

5.2. Module ARW
Certes, Le modèle ARW supporte deux grandes classes de simulations
correspondants au cas de données idéales ou au cas de données réelles. Pourtant, le
système de prévision météorologique WRF au centre HPCC soit un système
opérationnel, c’est la raison pour laquelle le modèle ARW déployé au centre HPCC
utilise seulement les données réelles de sorties du système de prétraitement WPS.
Comme le déploiement du module WPS, tout d’abord on doit configurer le fichier
namelist.input pour bien exécuter le modèle ARW.
Les paramètres de base à configurer sont:
Dans la partie « time_control » du namelist.wps


 &time_control
  run_days                                          = 0,
  run_hours                                         = 72,
  run_minutes                                       = 0,
  run_seconds                                       = 0,
  start_year                                        = 2008, 2000, 2000,
  start_month                                       = 05,   01,     01,
  start_day                                         = 04,   24,     24,


TRAN Viet Trung ‐ Filière francophone de l’Informatique                            38
Application du modèle de prévision météorologique WRF au Vietnam 

  start_hour                                        = 12,     12,    12,
  start_minute                                      = 00,     00,    00,
  start_second                                      = 00,     00,    00,
  end_year                                          = 2008, 2000, 2000,
  end_month                                         = 05,     01,    01,
  end_day                                           = 07,     25,    25,
  end_hour                                          = 12,     12,    12,
  end_minute                                        = 00,     00,    00,
  end_second                                        = 00,     00,    00,
  interval_seconds                                  = 10800



Les parameters START_YEAR, START_MONTH, START_DAY, START_HOUR,
END_YEAR, END_MONTH, END_DAY, END_HOUR, INTERVAL_SECONDS se
recopient de namelist.wps du module WPS.
run_hours                      = 72,
Pour la prévision en 3 jours, ce champ a toujours la valeur 72 (heures).
Dans la partie « domains » du namelist.wps


 &domains
  time_step                                         = 108,
  time_step_fract_num                               = 0,
  time_step_fract_den                               = 1,
  max_dom                                           = 1,
  s_we                                              = 1,      1,      1,
  e_we                                              = 61,     112,    94,
  s_sn                                              = 1,      1,      1,
  e_sn                                              = 112,     97,     91,
  s_vert                                            = 1,      1,      1,
  e_vert                                            = 28,     28,     28,
  num_metgrid_levels                                = 27
  dx                                                = 18000, 10000,    3333,
  dy                                                = 18000, 10000,    3333,



Cette partie se compose également des mêmes paramètres du fichier namelist.wps
du WPS. Donc, il faut fixer les mêmes valeurs de chaque paramètre dans tous les
deux fichiers.
time_step                                      = 108,


TRAN Viet Trung ‐ Filière francophone de l’Informatique                        39
Application du modèle de prévision météorologique WRF au Vietnam 

La valeur de ce paramètre était le pas de temps ‘en seconde’ pour l'intégration du
temps (recommandé 6*dx en km pour un cas typique). Avec l’intervalle de la grille
de calcul au Bkluster, dx=dy=18000, il faut mieux mettre « time_step=108 »
num_metgrid_levels:                            = 27,
Il signifie le nombre des niveaux verticaux de données d'arrivée. Comme le modèle
utilise les données météorologiques du modèle global GFS, cette valeur de ce
paramètre était toujours 27.
Ce module se compose de deux programmes « real.exe » et « wrf.exe ». Le
processus de déploiement du module ARW est comme ceci suivant :



 

             Figure II-7 Processus de l’exécution des programmes du ARW

6. Conclusion
Dans ce chapitre, on aborde précisément tous les problèmes qui concernent le
déploiement du modèle WRF, y compris : la détermination du domaine à calcul sur
les trois superordinateurs. Les résultats obtenus sont très importants puisque le
modèle WRF déployé a bien produit les données de prévision météorologique.
Pourtant, l’exécution du modèle est encore manuelle, il manque un système
d’automatisation des tâches et puis, le résultat de sortie est plus spécialiste. Les
utilisateurs ordinaires ont donc des difficultés à le comprendre.
Les chapitres suivants se concentreront sur deux grands problèmes :
    • Rechercher sur la configuration d’exécution du modèle WRF le plus optimal
      sur chaque superordinateur.
    • Déployer un système professionnel qui pourra fournir directement les
      bulletins de météo chez les utilisateurs ordinaires.




TRAN Viet Trung ‐ Filière francophone de l’Informatique                          40
Application du modèle de prévision météorologique WRF au Vietnam 


                      CHAPITRE III                Évaluation des expériences
 

1. Introduction
Comme le modèle WRF est installé sur trois systèmes de calcul à haute
performance : Bkluster, IBM eserver cluster 1350 et IBM eserver 1600, la question
apparue sera de comment trouver de meilleures conditions pour l’exécution du
système de prévision météorologique WRF. En plus, la performance de calcul de
trois systèmes en particulier sur l’exécution du modèle WRF sera également
évalués. Enfin, l'environnement le plus optimal est établi, les parties ci-dessous
précisent ces expériences ainsi que les réalisations acquises.

2. Les expériences réalisées sur Bkluster
Le programme « wrf.exe » est le plus important du système, le résultat et le temps
d’exécution de ce module en plusieurs modes reflètent la performance du système
ainsi que sa stabilité. Par conséquent, les critères d’évaluation ne concentrent que
sur cette partie particulière du modèle.
Méthode d’évaluation :
    • Exécuter le programme « wrf.exe » avec les données d’entrées différentes, en
      divers modes et le nombre de nœuds de calcul variant.
    • Utiliser 2 façons pour :
           -   D’une part, on évalue le temps d’exécution du MM5 en chaque mode
               d’opération avec le nombre de processeurs variés.
           -   D’autre part, on évalue le temps d’exécution en plusieurs modes avec
               le nombre de processeurs fixés.
Cette évaluation s’est fait pendant 3 jours : 10, 11 et 12 mai 2008 et le temps moyen
de calcul est arrondi selon l'unité de minute. Le domaine à calcul Vietnam1 est
utilisé dans toutes les expériences.

2.1. Mode séquentiel
Le programme wrf.exe est compilé par 2 compilateurs différents: pgf90 (Portland
Group), ifort (Intel). On voit que le compilateur influence relativement le temps de
calcul, si ifort est utilisé pour la compilation et l'exécution du programme wrf.exe,
on économise environ 10% de temps par rapport à pgf90 pour une prévision météo.
En effet, l’exactitude d'un programme compilé par ifort n'est égale qu'à 1/10 de
celle du programme compilé par pgf90. Ce pourrait être la raison pour laquelle le
compilateur de l'Intel (ifort) cause moins de temps d'opération que celui du Portland
Group (pgf90).

TRAN Viet Trung ‐ Filière francophone de l’Informatique                           41
Application du modèle de prévision météorologique WRF au Vietnam 



                                     Mode séquentiel
              120            117
                                                  108
              110

              100

                90

                80                                                 Mode séquentiel

                70

                60

                50
                           pgi 7.0           Intel 10.1.015
                                                                                      

                                 Figure III-1 Mode séquentiel

2.2. Mode parallèle
En mode parallèle, non seulement des compilateurs mais en plus beaucoup d'autres
raisons influent sur le résultat du modèle. Précisément, ce sont la communication
entre les processus, le nombre de processeurs participés, la bibliothèque de
programmation par passages de messages (MPICH) et compilateurs.

   90
                     78
   80

   70
                            60
   60                                               57
                                                              49
   50
                                                                                mpich1.2.7p1
   40
                                                                                mpich2‐1.0.3
   30

   20

   10

    0
              2processeurs/2noeuds              2processeurs/1noeuds
                                                                                                

        Figure III-2 Temps d'exécution influencé par MPICH et la communication

Premièrement, pour évaluer l’influence de la communication entre les processus, on
considère le cas où le programme wrf.exe est exécuté en utilisant 2 processeurs/ 2
nœuds et l’autre cas utilisant 2 processeurs/ 1 seul nœud. On voit que la


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                        42
Application du modèle de prévision météorologique WRF au Vietnam 

communication entre les processus /2 nœuds différents influence fortement sur le
temps de calcul du programme wrf.exe par rapport à la communication interne sur 1
seul nœud. D’ailleurs, en ce qui concerne la bibliothèque de programmation par
passages de messages (MPICH), l’influence de la communication dans MPICH 1
est plus forte de 25% que laquelle dans MPICH 2 de 16,6%.
Deuxièmement, dans la figure, on voit également que le fait d’utiliser MPICH 2
gagne le bénéfice du temps en comparaison d’autre cas avec MPICH 1. Ceci montre
que le programme wrf.exe supporte mieux la bibliothèque de programmation par
passages de messages MPICH 2. Si l’on peut faire un comparaison entre le modèle
WRF et le modèle MM5 que MPICH 1 convient, on sait bien que le modèle WRF
est une évolution et un successeur du modèle MM5, c’est la raison pour laquelle
WRF supporte mieux la nouvelle version de MPICH.
Ci_après, l'évaluation concentre sur la quantité de processeurs utilisés afin de
trouver le plus meilleur cas pour l’exécution du modèle WRF sur Bkluster. Dans
cette évaluation, la bibliothèque de programmation par passages de
messages MPICH 2 et le compilateur pgf90 sont choisis.




                                                                                   

                  Figure III-3 L’influence de la quantité de processeurs

On peut voir que le temps moyen est linéaire et il atteint le minimum quand le
nombre de processeurs est égal à 4. Malheuresement, le nombre de processeurs ne
peut pas augmenter pour pourvoir trouver le plus meilleur résultat, faute de nœud à
calcul.
C’est pourquoi, j’utilise actuellement le domaine Vietnam1 comme le domaine dans
ces expériences pour l’exécution du modèle WRF sur Bkluster. Le programme

TRAN Viet Trung ‐ Filière francophone de l’Informatique                         43
Application du modèle de prévision météorologique WRF au Vietnam 

« wrf.exe » est toujours exécuté en mode parallel sur 4 processeurs avec le temps
moyen environ 40 minutes.

3. Comparaison de la performance entre trois systèmes
La dernière évaluation que je voudrais aborder dans mon mémoire de fin d’études
est la comparaison du temps de calcul du programme « wrf.exe » entre trois
systèmes qui ont bien déployé le modèle WRF.
Pour garder cette évaluation objectif, on utilise le même domaine à calcul
DNA_nested (figure II-3) pour exécuter le modèle WRF. La configuration tout
optimale de chaque système est déterminé en utilisant les mêmes expériences sur
Bkluster. Pourtant, l’expérience est fait une seule fois sur IBM AIX eserver cluster
1600, car le système était en panne depuis le mois de mars 2008.


                                        2 processeurs                      4 processeurs
 Temps moyen (minutes)                        108                               56

   Tableau III-1Temps moyen influencé par le nombre de processeurs sur Bkluster


                                 4 processeurs             8 processeurs       16 processeurs
 Temps moyen (minutes)                  72                      50                   60

  Tableau III-2Temps moyen influencé par le nombre de processeurs sur IBM 1350


                                                           8 processeurs
                        Temps moyen (minutes)                   26

        Tableau III-3 Temps moyen influencé par 8 processeurs sur IBM 1600

La configuration la plus optimale :
   • BKluster
           - 4 Processeurs/2 nœuds
           - MPICH 2 – version 1.0.3
           - Compilateur : pgf90 (Porlan Group) 7.0
   • IBM eserver 1350
           - 8 Processeurs/2 nœuds
           - MPICH 2 – version 1.0.3
           - Compilateur de fortran : pgf90 (Porlan Group) 7.0


TRAN Viet Trung ‐ Filière francophone de l’Informatique                                    44
Application du modèle de prévision météorologique WRF au Vietnam 

   • IBM AIX eserver 1600
           - 8 Processeurs/ 1 nœuds
           - la bibliothèque de programmation par passages de messages (MPI) du
             vendeur IBM
           - Compilateur de fortran du vendeur IBM




                                                                                  

              Figure III-4 Temps moyen au cas optimal de trois systèmes

Grâce aux informations de la figure III-4, on pourrait apercevoir que IBM AIX
eserver 1600 / 8 processeurs / 1 nœud ne perd qu’environs 26 minutes pour exécuter
le modèle WRF (domaine DNA_nested). Au contraire, avec le même nombre de
processeurs, IBM eserver 1350 / 8 processeurs / 2 nœuds a eu besoin du temps
double : 50 minutes à exécuter. C’était illogique puisqu’on ne bénéficie pas
beaucoup de performance des 8 processeurs par rapport à Bbluster avec 4
processeurs.
Pour comprendre mieux la situation, on fait la comparaison du temps moyen
nécessaire pour exécuter le modèle WRF (domaine DNA_nested) entre Bkluster et
IBM eserver 1350 ci-après. Le nombre de processeurs soit le même 4.




TRAN Viet Trung ‐ Filière francophone de l’Informatique                        45
Application du modèle de prévision météorologique WRF au Vietnam 




                80                                 72
                               56
                60

                40

                20                                              Temps moyen

                  0
                          Bkluster / 4      IBM AIX 1350 / 4 
                          processeurs         processeurs
                                                                               

                  Figure III-5 Comparaison entre Bkluster et IBM 1350

Sur la vue globale, la performance de 1 nœud (4 processeurs) de l’IBM eserver
1350 soit plus haute que laquelle de Bkluster. Mais à cause d’une panne du système,
le modèle WRF et aussi les données d’entrée (sortie) du modèle sont obligées à
installer sur l’équipement de stockage qui attache au système par une ligne Ethernet
(100 Mbps) par rapport à GEthernet. C’est la raison pour laquelle le système ne peut
pas exploiter sa performance totale.

4. Conclusion
Dans ce chapitre, on a fait des expériences afin de trouver la configuration optimale
de l’exécution du modèle WRF sur tous les trois systèmes. On a aussi quelques
comparaisons entre eux. Certes, les expériences exhaustives ne peuvent pas être
relevées, en raison des difficultés objectives. Mais, j’ai obtenu des connaissances
précieuses de la construction en système à haute performance. Tous les composants
du système influencent fortement la performance totale : Un système attendrait sa
performance la plus optimale si on garde l’unité de tous les composants.
 




TRAN Viet Trung ‐ Filière francophone de l’Informatique                           46
Application du modèle de prévision météorologique WRF au Vietnam 

CHAPITRE IV              Application du modèle WRF au Centre HPC
  

 1. Introduction
 Comme déjà mentionné dans les chapitres précédents, les résultats de prévision
 météorologique du modèle pourraient être visualisés en utilisant des outils
 graphiques (NCAR, RIP4, …) . Parmi lesquelles, nous avons choisi d’installer
 Graphiques NCAR comme le programme pricipal pour nous donner des images
 météorologiques de qualité.
                                                            Image 
                          NCL script
                                                            météorologique  




                        Fichier au 
                        format netCDF  



                     Figure IV-1 Produire des images météorologiques

 Certes, les images météorologiques sont bien utiles pour que des chercheurs
 puissent les utiliser pour relever des prévisions météorologiques de l’état de météo
 général comme les prévisions de tempêtes, de saisons, de phénormènes
 spécialisés. Mais, chez les utilisateurs ordinaires, les images météoroligiques sont
 toujours difficile à comprendre puisqu’elles représentent beaucoup d’informations
 spécialisées.
 D’ailleurs, en ce qui concerne la météo, la question posée est toujours plus simple
 comme « est-ce qu’il fera beau demain ? Demain, il fera chaud ou non ? Quelle est
 la température aujourd’hui ? ». Alors, mon mémoire de fin d’étude se compose
 d’une partie importante qui a pour but de montrer une solution acceptable pour
 exploiter les résultats de prévision du modèle WRF de façon facile chez les
 utilisateurs ordinaires.




 TRAN Viet Trung ‐ Filière francophone de l’Informatique                          47
Application du modèle de prévision météorologique WRF au Vietnam 

2. Structure du Système




               Figure IV-2 Structure du système déployé au Centre HPC

Comme montré sur la figure, le système que j’ai déjà bâti se compose des
composants ci-dessous :
   • Modèle WRF executé sur la grappe bkluster, qui joue le rôle de produire les
     données météorologiques pour le système.
   • Le programme qui contrôle le modèle WRF pour l’exécuter automatiquement
     jour après jour. Dans la situation actuelle, le modèle WRF est exécuté une
     fois par jour à 23 heures trente, comme la ligne de connection à l’Internet et
     les ressources de calcul n’étaient pas suffisantes au centre HPC.
   • Un module de traitement des données sorties du modèle pour relever les
     champs météorologiques fondamentaux de toutes les villes vietnamiennes et
     les insérer à la base de données. Ce module est programmé en utilisant le
     langage NCL et le langage JAVA.
   • Le module MeteoAPI a pour but de donner l’interface de
     programmation(API) qui se situe entre la base de données et les applications
     de représentation (le portail d’information de météo, le google
     gadget IPHmétéo). Utiliser le module MeteoAPI est le mieux pour séparer le
     structure de la base de données avec les applications de représentation.
     D’ailleurs, les google gadgets n’étaient pas capables de se connecter
     directement à la base de données.
   • Les applications de représentation : Ceux-ci peuvent être de n’import quel
     logiciel qui permet de publier les bulletins de météo en utilisant les données
     fournies par MeteoAPI. J’ai choisi de créer le Google gadget IPHmétéo
     puisqu’il pourrait avoir des avantages par rapport aux autres, selon moi.


TRAN Viet Trung ‐ Filière francophone de l’Informatique                         48
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam
Application du modèle de prévision météorologique WRF au Vietnam

Contenu connexe

Tendances

Rapport de stage
Rapport de stageRapport de stage
Rapport de stage
Aicha OUALLA
 
Rapport de projet de fin d'étude licence informatique et multimédia
Rapport de projet de fin d'étude licence informatique et multimédiaRapport de projet de fin d'étude licence informatique et multimédia
Rapport de projet de fin d'étude licence informatique et multimédia
Nazih Heni
 
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Haytam EL YOUSSFI
 
1601896849 rapport fluttercopie
1601896849 rapport fluttercopie1601896849 rapport fluttercopie
1601896849 rapport fluttercopie
RamiJOUDI2
 
Rapport PFE
Rapport PFERapport PFE
Rapport PFE
IbtissemSlimeni
 
Rapport de fin d'étude en sur le dimensionnement solaire .pdf
Rapport de fin d'étude en sur le dimensionnement solaire .pdfRapport de fin d'étude en sur le dimensionnement solaire .pdf
Rapport de fin d'étude en sur le dimensionnement solaire .pdf
Zakaria156221
 
Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)
Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)
Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)Ghali Rahma
 
Conception et réalisation d’un Système d’information des étudiants du départe...
Conception et réalisation d’un Système d’information des étudiants du départe...Conception et réalisation d’un Système d’information des étudiants du départe...
Conception et réalisation d’un Système d’information des étudiants du départe...
Ilyas CHAOUA
 
Rapport de stage
Rapport de stageRapport de stage
Rapport de stage
ichrafkhalfaoui
 
Rapport pfe
Rapport pfeRapport pfe
Rapport pfe
Ahmed rebai
 
PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...
PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...
PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...
Nabil EL Moudden
 
RAPPORT DE PROJET DE FIN D’ETUDES
RAPPORT DE PROJET DE FIN D’ETUDESRAPPORT DE PROJET DE FIN D’ETUDES
RAPPORT DE PROJET DE FIN D’ETUDES
TombariAhmed
 
ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...
ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...
ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...
HousamRiad
 
Rapport de stage de fin d'études ISI 2015
Rapport de stage de fin d'études ISI 2015Rapport de stage de fin d'études ISI 2015
Rapport de stage de fin d'études ISI 2015
Anouar Kacem
 
Rapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben SlimaRapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben Slima
Ilef Ben Slima
 
rapport PFE ingénieur génie logiciel INSAT
rapport PFE ingénieur génie logiciel INSATrapport PFE ingénieur génie logiciel INSAT
rapport PFE ingénieur génie logiciel INSATSiwar GUEMRI
 
Gateway d’un système de monitoring
Gateway d’un système de monitoringGateway d’un système de monitoring
Gateway d’un système de monitoring
Ghassen Chaieb
 
Memoire complet.pdf
Memoire complet.pdfMemoire complet.pdf
Memoire complet.pdf
Kouassi Kouadio
 
Rapport de stage d'été
Rapport de stage d'étéRapport de stage d'été
Rapport de stage d'été
JinenAbdelhak
 
Gestion des actifs applicatifs
Gestion des actifs applicatifsGestion des actifs applicatifs
Gestion des actifs applicatifs
SafaAballagh
 

Tendances (20)

Rapport de stage
Rapport de stageRapport de stage
Rapport de stage
 
Rapport de projet de fin d'étude licence informatique et multimédia
Rapport de projet de fin d'étude licence informatique et multimédiaRapport de projet de fin d'étude licence informatique et multimédia
Rapport de projet de fin d'étude licence informatique et multimédia
 
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
 
1601896849 rapport fluttercopie
1601896849 rapport fluttercopie1601896849 rapport fluttercopie
1601896849 rapport fluttercopie
 
Rapport PFE
Rapport PFERapport PFE
Rapport PFE
 
Rapport de fin d'étude en sur le dimensionnement solaire .pdf
Rapport de fin d'étude en sur le dimensionnement solaire .pdfRapport de fin d'étude en sur le dimensionnement solaire .pdf
Rapport de fin d'étude en sur le dimensionnement solaire .pdf
 
Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)
Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)
Rapport-PFE2013-RahmaGhali-Gestion des Candidatures(Jaas,Primefaces,JFS2,JPA)
 
Conception et réalisation d’un Système d’information des étudiants du départe...
Conception et réalisation d’un Système d’information des étudiants du départe...Conception et réalisation d’un Système d’information des étudiants du départe...
Conception et réalisation d’un Système d’information des étudiants du départe...
 
Rapport de stage
Rapport de stageRapport de stage
Rapport de stage
 
Rapport pfe
Rapport pfeRapport pfe
Rapport pfe
 
PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...
PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...
PFE :Conception, développement et mise en ligne d’une plateforme Odoo destiné...
 
RAPPORT DE PROJET DE FIN D’ETUDES
RAPPORT DE PROJET DE FIN D’ETUDESRAPPORT DE PROJET DE FIN D’ETUDES
RAPPORT DE PROJET DE FIN D’ETUDES
 
ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...
ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...
ÉTUDE PRÉLIMINAIRE EN SIMULATION DU SYSTÈME ÉOLIEN DE PRODUCTION D’ÉNERGIE ÉL...
 
Rapport de stage de fin d'études ISI 2015
Rapport de stage de fin d'études ISI 2015Rapport de stage de fin d'études ISI 2015
Rapport de stage de fin d'études ISI 2015
 
Rapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben SlimaRapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben Slima
 
rapport PFE ingénieur génie logiciel INSAT
rapport PFE ingénieur génie logiciel INSATrapport PFE ingénieur génie logiciel INSAT
rapport PFE ingénieur génie logiciel INSAT
 
Gateway d’un système de monitoring
Gateway d’un système de monitoringGateway d’un système de monitoring
Gateway d’un système de monitoring
 
Memoire complet.pdf
Memoire complet.pdfMemoire complet.pdf
Memoire complet.pdf
 
Rapport de stage d'été
Rapport de stage d'étéRapport de stage d'été
Rapport de stage d'été
 
Gestion des actifs applicatifs
Gestion des actifs applicatifsGestion des actifs applicatifs
Gestion des actifs applicatifs
 

Similaire à Application du modèle de prévision météorologique WRF au Vietnam

Manuel ns1.3
Manuel ns1.3Manuel ns1.3
Manuel ns1.3
thiedia
 
rapport_stage_issame
rapport_stage_issamerapport_stage_issame
rapport_stage_issameAMAL Issame
 
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Alaaeddine Tlich
 
Projet Passerelle sécurisée intelligente pour l'internet des objets
Projet Passerelle sécurisée intelligente pour l'internet des objetsProjet Passerelle sécurisée intelligente pour l'internet des objets
Projet Passerelle sécurisée intelligente pour l'internet des objets
Université de Rennes 1
 
Description open erp_v_7
Description open erp_v_7Description open erp_v_7
Description open erp_v_7Ab Rafaoui
 
réaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de testréaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de test
ahmed oumezzine
 
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Yasmine Lachheb
 
RapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRITRapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRIT
Lina Meddeb
 
Report Master
Report MasterReport Master
Report Master
Bilel Trabelsi
 
rapport_stage_TBLB.pdf
rapport_stage_TBLB.pdfrapport_stage_TBLB.pdf
rapport_stage_TBLB.pdf
fatimazahrakherazi
 
Outpatient Department System (OPD)
Outpatient Department System (OPD) Outpatient Department System (OPD)
Outpatient Department System (OPD)
Ben Ahmed Zohra
 
pfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdfpfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdf
nesrine haloui
 
Conception et Développement d'un Network Management System ATM Nortel
Conception et Développement d'un Network Management System ATM NortelConception et Développement d'un Network Management System ATM Nortel
Conception et Développement d'un Network Management System ATM Nortel
Tidiane Sylla
 
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
mouafekmazia
 
Rapport de projet de fin d"études
Rapport de projet de fin d"étudesRapport de projet de fin d"études
Rapport de projet de fin d"études
Mohamed Boubaya
 
Mémoire platre carreau hopital p_pfe_-_claire_casenave
Mémoire platre carreau hopital  p_pfe_-_claire_casenaveMémoire platre carreau hopital  p_pfe_-_claire_casenave
Mémoire platre carreau hopital p_pfe_-_claire_casenaverabahrabah
 
Rapport pfe isi_Big data Analytique
Rapport pfe isi_Big data AnalytiqueRapport pfe isi_Big data Analytique
Rapport pfe isi_Big data Analytique
Yosra ADDALI
 

Similaire à Application du modèle de prévision météorologique WRF au Vietnam (20)

siem.pdf
siem.pdfsiem.pdf
siem.pdf
 
Manuel ns1.3
Manuel ns1.3Manuel ns1.3
Manuel ns1.3
 
rapport_stage_issame
rapport_stage_issamerapport_stage_issame
rapport_stage_issame
 
Rapport
RapportRapport
Rapport
 
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
 
Projet Passerelle sécurisée intelligente pour l'internet des objets
Projet Passerelle sécurisée intelligente pour l'internet des objetsProjet Passerelle sécurisée intelligente pour l'internet des objets
Projet Passerelle sécurisée intelligente pour l'internet des objets
 
Description open erp_v_7
Description open erp_v_7Description open erp_v_7
Description open erp_v_7
 
Tpe nguyen tien-thinh
Tpe nguyen tien-thinhTpe nguyen tien-thinh
Tpe nguyen tien-thinh
 
réaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de testréaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de test
 
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
 
RapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRITRapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRIT
 
Report Master
Report MasterReport Master
Report Master
 
rapport_stage_TBLB.pdf
rapport_stage_TBLB.pdfrapport_stage_TBLB.pdf
rapport_stage_TBLB.pdf
 
Outpatient Department System (OPD)
Outpatient Department System (OPD) Outpatient Department System (OPD)
Outpatient Department System (OPD)
 
pfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdfpfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdf
 
Conception et Développement d'un Network Management System ATM Nortel
Conception et Développement d'un Network Management System ATM NortelConception et Développement d'un Network Management System ATM Nortel
Conception et Développement d'un Network Management System ATM Nortel
 
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
 
Rapport de projet de fin d"études
Rapport de projet de fin d"étudesRapport de projet de fin d"études
Rapport de projet de fin d"études
 
Mémoire platre carreau hopital p_pfe_-_claire_casenave
Mémoire platre carreau hopital  p_pfe_-_claire_casenaveMémoire platre carreau hopital  p_pfe_-_claire_casenave
Mémoire platre carreau hopital p_pfe_-_claire_casenave
 
Rapport pfe isi_Big data Analytique
Rapport pfe isi_Big data AnalytiqueRapport pfe isi_Big data Analytique
Rapport pfe isi_Big data Analytique
 

Plus de Viet-Trung TRAN

Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017
Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017
Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017
Viet-Trung TRAN
 
Dynamo: Amazon’s Highly Available Key-value Store
Dynamo: Amazon’s Highly Available Key-value StoreDynamo: Amazon’s Highly Available Key-value Store
Dynamo: Amazon’s Highly Available Key-value Store
Viet-Trung TRAN
 
Pregel: Hệ thống xử lý đồ thị lớn
Pregel: Hệ thống xử lý đồ thị lớnPregel: Hệ thống xử lý đồ thị lớn
Pregel: Hệ thống xử lý đồ thị lớn
Viet-Trung TRAN
 
Mapreduce simplified-data-processing
Mapreduce simplified-data-processingMapreduce simplified-data-processing
Mapreduce simplified-data-processing
Viet-Trung TRAN
 
Tìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của Facebook
Tìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của FacebookTìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của Facebook
Tìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của Facebook
Viet-Trung TRAN
 
giasan.vn real-estate analytics: a Vietnam case study
giasan.vn real-estate analytics: a Vietnam case studygiasan.vn real-estate analytics: a Vietnam case study
giasan.vn real-estate analytics: a Vietnam case study
Viet-Trung TRAN
 
Giasan.vn @rstars
Giasan.vn @rstarsGiasan.vn @rstars
Giasan.vn @rstars
Viet-Trung TRAN
 
A Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural NetworkA Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural Network
Viet-Trung TRAN
 
A Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural NetworkA Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural Network
Viet-Trung TRAN
 
Large-Scale Geographically Weighted Regression on Spark
Large-Scale Geographically Weighted Regression on SparkLarge-Scale Geographically Weighted Regression on Spark
Large-Scale Geographically Weighted Regression on Spark
Viet-Trung TRAN
 
Recent progress on distributing deep learning
Recent progress on distributing deep learningRecent progress on distributing deep learning
Recent progress on distributing deep learning
Viet-Trung TRAN
 
success factors for project proposals
success factors for project proposalssuccess factors for project proposals
success factors for project proposals
Viet-Trung TRAN
 
GPSinsights poster
GPSinsights posterGPSinsights poster
GPSinsights poster
Viet-Trung TRAN
 
OCR processing with deep learning: Apply to Vietnamese documents
OCR processing with deep learning: Apply to Vietnamese documents OCR processing with deep learning: Apply to Vietnamese documents
OCR processing with deep learning: Apply to Vietnamese documents
Viet-Trung TRAN
 
Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...
Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...
Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...
Viet-Trung TRAN
 
Deep learning for nlp
Deep learning for nlpDeep learning for nlp
Deep learning for nlp
Viet-Trung TRAN
 
Introduction to BigData @TCTK2015
Introduction to BigData @TCTK2015Introduction to BigData @TCTK2015
Introduction to BigData @TCTK2015
Viet-Trung TRAN
 
From neural networks to deep learning
From neural networks to deep learningFrom neural networks to deep learning
From neural networks to deep learning
Viet-Trung TRAN
 
From decision trees to random forests
From decision trees to random forestsFrom decision trees to random forests
From decision trees to random forests
Viet-Trung TRAN
 
Recommender systems: Content-based and collaborative filtering
Recommender systems: Content-based and collaborative filteringRecommender systems: Content-based and collaborative filtering
Recommender systems: Content-based and collaborative filtering
Viet-Trung TRAN
 

Plus de Viet-Trung TRAN (20)

Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017
Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017
Bắt đầu tìm hiểu về dữ liệu lớn như thế nào - 2017
 
Dynamo: Amazon’s Highly Available Key-value Store
Dynamo: Amazon’s Highly Available Key-value StoreDynamo: Amazon’s Highly Available Key-value Store
Dynamo: Amazon’s Highly Available Key-value Store
 
Pregel: Hệ thống xử lý đồ thị lớn
Pregel: Hệ thống xử lý đồ thị lớnPregel: Hệ thống xử lý đồ thị lớn
Pregel: Hệ thống xử lý đồ thị lớn
 
Mapreduce simplified-data-processing
Mapreduce simplified-data-processingMapreduce simplified-data-processing
Mapreduce simplified-data-processing
 
Tìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của Facebook
Tìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của FacebookTìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của Facebook
Tìm kiếm needle trong Haystack: Hệ thống lưu trữ ảnh của Facebook
 
giasan.vn real-estate analytics: a Vietnam case study
giasan.vn real-estate analytics: a Vietnam case studygiasan.vn real-estate analytics: a Vietnam case study
giasan.vn real-estate analytics: a Vietnam case study
 
Giasan.vn @rstars
Giasan.vn @rstarsGiasan.vn @rstars
Giasan.vn @rstars
 
A Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural NetworkA Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural Network
 
A Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural NetworkA Vietnamese Language Model Based on Recurrent Neural Network
A Vietnamese Language Model Based on Recurrent Neural Network
 
Large-Scale Geographically Weighted Regression on Spark
Large-Scale Geographically Weighted Regression on SparkLarge-Scale Geographically Weighted Regression on Spark
Large-Scale Geographically Weighted Regression on Spark
 
Recent progress on distributing deep learning
Recent progress on distributing deep learningRecent progress on distributing deep learning
Recent progress on distributing deep learning
 
success factors for project proposals
success factors for project proposalssuccess factors for project proposals
success factors for project proposals
 
GPSinsights poster
GPSinsights posterGPSinsights poster
GPSinsights poster
 
OCR processing with deep learning: Apply to Vietnamese documents
OCR processing with deep learning: Apply to Vietnamese documents OCR processing with deep learning: Apply to Vietnamese documents
OCR processing with deep learning: Apply to Vietnamese documents
 
Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...
Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...
Paper@Soict2015: GPSInsights: towards a scalable framework for mining massive...
 
Deep learning for nlp
Deep learning for nlpDeep learning for nlp
Deep learning for nlp
 
Introduction to BigData @TCTK2015
Introduction to BigData @TCTK2015Introduction to BigData @TCTK2015
Introduction to BigData @TCTK2015
 
From neural networks to deep learning
From neural networks to deep learningFrom neural networks to deep learning
From neural networks to deep learning
 
From decision trees to random forests
From decision trees to random forestsFrom decision trees to random forests
From decision trees to random forests
 
Recommender systems: Content-based and collaborative filtering
Recommender systems: Content-based and collaborative filteringRecommender systems: Content-based and collaborative filtering
Recommender systems: Content-based and collaborative filtering
 

Dernier

Textes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdfTextes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdf
Michel Bruley
 
Veille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdfVeille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdf
frizzole
 
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptxcours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
AbdessamadAmimi1
 
Iris van Herpen. pptx
Iris         van        Herpen.      pptxIris         van        Herpen.      pptx
Iris van Herpen. pptx
Txaruka
 
Proyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de pazProyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de paz
Morzadec Cécile
 
Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union
 
BATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en FranceBATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en France
Txaruka
 

Dernier (7)

Textes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdfTextes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdf
 
Veille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdfVeille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdf
 
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptxcours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
 
Iris van Herpen. pptx
Iris         van        Herpen.      pptxIris         van        Herpen.      pptx
Iris van Herpen. pptx
 
Proyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de pazProyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de paz
 
Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023
 
BATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en FranceBATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en France
 

Application du modèle de prévision météorologique WRF au Vietnam

  • 1. Application du modèle de prévision météorologique WRF au Vietnam  Remerciements Je tiens d’abord à remercier Monsieur le Professeur. Dr. NGUYEN Thanh Thuy qui m’a dirigé pour mon mémoire de fin d’études universitaires. Sans son initiative, ce projet n'aurait pas été achevé. Je tiens à lui exprimer toute ma reconnaissance pour son dévouement, la confiance qu'il m'a accordée, sa rigueur et la qualité des commentaires et suggestions sur mes travaux. Je tiens également à remercier Dr. NGUYEN Huu Duc, Dr. TA Tuan Anh pour m’avoir aidé et aussi m’avoir donné des conseils importants. Je remercie infiniment Monsieur le Professeur. Dr. PHAM Ky Anh, Directeur du Centre de la Calcul à Haute Performance, Université nationale de Hanoi pour sa permission de rechercher et déployer le système sur deux superordinateurs les plus puissants au Vietnam. Je remercie également Monsieur PHAN Van Tan, enseignant-chercheur du Centre de Météo, Université nationale de Hanoi pour ses conseils précieux, son soutien ainsi que pour sa gentillesse tout au long de mon stage de fin d’études. Ce travail n’aurait pu être accompli sans son aide. Je remercie beaucoup Monsieur DOAN Trung Tung, Monsieur LE Duc Tung et Monsieur Tran Tuan Tu au Centre de Calcul à Haute Performance pour leurs aides techniques. Ma gratitude s’adresse aussi aux professeurs à l’Institut Polytechnique de Hanoi (IPH) pour m’avoir transmis de bonnes connaissances concernant le savoir et le savoir-faire qui sont utiles pour mon mémoire. Je voudrais remercier particulièrement mes professeurs de français pour leurs bons conseils dans la rédaction du mémoire. Finalement, j’exprime mon entière reconnaissance à ma famille et mes amis pour leurs soutiens, leurs aides, leurs encouragements et leurs conseils sincères. Hanoi, le 18 mai 2008 TRAN Viet Trung TRAN Viet Trung ‐ Filière francophone de l’Informatique  1
  • 2. Application du modèle de prévision météorologique WRF au Vietnam  Table des matières Remerciements .......................................................................................................... 1 Liste des figures ......................................................................................................... 4 Liste des tableaux ...................................................................................................... 5 Liste des abréviations ................................................................................................ 6 Prologue 7 CHAPITRE I Modèle Weather Research and Forecasting (WRF) ................... 9 1. Introduction ....................................................................................................... 9 2. Architecture du modèle WRF ......................................................................... 10 2.1. Initialisation.............................................................................................. 10 2.2. WRF-VAR pour cœur ARW .................................................................... 11 2.3. Cœurs dynamiques (ARW & NMM) ....................................................... 11 2.4. Les paquets de physique........................................................................... 12 2.5. Outil de post-traitement du WRF ............................................................. 12 3. Sous modèle WRF ARW ................................................................................ 15 3.1. Le Système de prétraitement (WPS) ........................................................ 16 3.2. Initialisation du modèle ARW ................................................................. 21 3.3. Cœur WRF ARW ..................................................................................... 25 4. Conclusion ...................................................................................................... 27 CHAPITRE II Calcul à haute performance avec WRF ................................... 28 1. Matériel ........................................................................................................... 28 1.1. Bkluster .................................................................................................... 28 1.2. IBM eServer Cluster 1350 ....................................................................... 28 1.3. IBM eserver Cluster 1600 ........................................................................ 29 2. Environnement du logiciel .............................................................................. 30 2.1. Compilateurs et langage de programmation demandés ........................... 30 2.2. Les bibliothèques optionnelles ................................................................. 30 3. Domaines de calcul ......................................................................................... 31 3.1. Domaine de calcul au Bkluster. ............................................................... 31 3.2. Domaine de calcul au IBM eserver 1350. ................................................ 31 3.3. Domaine de calcul au IBM eserver 1600. ................................................ 33 4. Données du modèle ARW .............................................................................. 34 4.1. Données météorologiques ........................................................................ 34 TRAN Viet Trung ‐ Filière francophone de l’Informatique  2
  • 3. Application du modèle de prévision météorologique WRF au Vietnam  4.2. Données géographiques ........................................................................... 34 5. Déploiement des modules du ARW ................................................................ 34 5.1. Module WPS ............................................................................................ 34 5.2. Module ARW ........................................................................................... 38 6. Conclusion ...................................................................................................... 40 CHAPITRE III Évaluation des expériences ...................................................... 41 1. Introduction ..................................................................................................... 41 2. Les expériences réalisées sur Bkluster ............................................................ 41 2.1. Mode séquentiel ....................................................................................... 41 2.2. Mode parallèle .......................................................................................... 42 3. Comparaison de la performance entre trois systèmes ..................................... 44 4. Conclusion ...................................................................................................... 46 CHAPITRE IV Application du modèle WRF au Centre HPC ........................ 47 1. Introduction ..................................................................................................... 47 2. Structure du Système ...................................................................................... 48 2.1. Module de contrôle automatique du modèle WRF .................................. 49 2.2. Extraction de champs météorologiques par le script NCL ...................... 51 2.3. Mise en carte de la structure de la base de données. ................................ 53 2.4. MeteoAPI ................................................................................................. 54 2.5. Gadget IPHmétéo pour Google Desktop ................................................. 58 3. Conclusion ...................................................................................................... 64 Conclusion 65 Référence 66 Annexe 67 TRAN Viet Trung ‐ Filière francophone de l’Informatique  3
  • 4. Application du modèle de prévision météorologique WRF au Vietnam  Liste des figures Figure I-1 Les composants du modèle WRF ............................................................. 10 Figure I-2 Graphique NCAR et RIP4 ....................................................................... 13 Figure I-3 Image de GrADS ...................................................................................... 14 Figure I-5 Le Composants du Système du modèle ARW ......................................... 16 Figure I-6 Système de prétraitement ......................................................................... 17 Figure I-7 Initialisation du modèle ARW ................................................................. 22 Figure I-8 Initialisation pour les cas de données idéaux ........................................... 23 Figure I-9 Initialisation pour les cas de données réels .............................................. 24 Figure I-10 Coordonnée de pression hydrostatique suivant le terrain ...................... 25 Figure I-11 Emboîtement du modèle ARW .............................................................. 26 Figure II-1 Comparaison de la performance de calcul entre trois systèmes. ............ 29 Figure II-2 Domaine Vietnam1 ................................................................................. 31 Figure II-3 Domaine DNA_nested ............................................................................ 32 Figure II-4 Domaine DNA-nested2 .......................................................................... 33 Figure II-5 Exécuter les programme du WPS ........................................................... 35 Figure II-6 Définir un domaine du modèle WRF ..................................................... 36 Figure III-1 Mode séquentiel .................................................................................... 42 Figure III-2 Temps d'exécution influencé par MPICH et la communication ........... 42 Figure III-3 L’influence de la quantité de processeurs ............................................. 43 Figure III-4 Temps moyen au cas optimal de trois systèmes................................... 45 Figure III-5 Comparaison entre Bkluster et IBM 1350............................................. 46 Figure IV-1 Produire des images météorologiques................................................... 47 Figure IV-2 Structure du système déployé au Centre HPC ...................................... 48 Figure IV-3 Automatisation du modèle WRF........................................................... 49 Figure IV-4 Les étapes principales du module d’extraire les champs météorologiques ........................................................................................................ 52 Figure IV-5 Le structure de la base de données ........................................................ 53 Figure IV-6 le processus de traitement d’une demande par MeteoAPI .................... 56 Figure IV-7 IPHMétéo .............................................................................................. 60 Figure IV-8 Les trois états d’affichage de l’IPHmétéo ............................................. 61 Figure IV-9 IPHmétéo en version Français, Anglais et Vietnamien ........................ 62 Figure IV-10 IPHmétéo sur la galerie de Google ..................................................... 63 Figure IV-11 Prévision météorologique à 14 : 55’ le 16 mai 2008 .......................... 63 TRAN Viet Trung ‐ Filière francophone de l’Informatique  4
  • 5. Application du modèle de prévision météorologique WRF au Vietnam  Liste des tableaux Tableau I-1 Parallélisme dans le WPS ................................................................... 21 Tableau III-1 Temps moyen influencé par le nombre de processeurs sur Bkluster.. 44 Tableau III-2 Temps moyen influencé par le nombre de processeurs sur IBM 135044 Tableau III-3 Temps moyen influencé par 8 processeurs sur IBM 1600 ................. 44 Tableau IV-1 Structure de l’IPHmétéo ..................................................................... 61 TRAN Viet Trung ‐ Filière francophone de l’Informatique  5
  • 6. Application du modèle de prévision météorologique WRF au Vietnam  Liste des abréviations NWP : Numerical Weather Prediction WRF : Weather Research and Forecasting MM5 : The Fifth-Generation NCAR / Penn State Mesoscale Model GRIB : GRIdded Binary HPCC : High Performance Computing Centre CM : Centre de Météo NCAR : National Center for Atmospheric Research NCEP : National Centers for Environmental Prediction PNT : Prévision Numérique du Temps MMM : Numerical Model Metadata NAM : North Amercian Meso GFS : Global Forecast System AVN : Aviation Model XML : Langage de balisage extensible WSF : WRF Software Framework ARW : Advanced Research WRF GrADS : Grid Analysis and Display System TRAN Viet Trung ‐ Filière francophone de l’Informatique  6
  • 7. Application du modèle de prévision météorologique WRF au Vietnam  Introduction Le problème de prévision numérique du temps (PNT) a attiré vivement l’intention des chercheurs du Centre du Calcul à Haute Performance (HPCC), Institut polytechnique de Hanoi. Depuis 2006, HPCC a mené une coopération avec le Centre de météo (CM), de l’Université nationale des sciences de Hanoi afin de pouvoir étudier et déployer les modèles de prévision météorologique sur les ordinateurs à haute performance. Grâce à cette coopération, nous avons obtenu plusieurs résultats importants, en particulier pour la recherche et le déploiement du modèle MM5. Cependant, pour l’opération de prévison, il n’est jamais suffisamment exact d’utiliser seulement un modèle numérique quand il est appliqué dans les conditions particulières du Vietnam. À partir de cette demande, la recherche d’autres modèles de prévision météorologique est devenu un problème indispensable. Ce sont toutes les raisons pour lesquelles le modèle de prévision numérique WRF a été choisi. Parmi les autres, notamment le modèle MM5, il est une évolution et un successeur du modèle MM5 qui n’est plus supporté par les développeurs. En effet, WRF s’est développé rapidement les années dernières, il est presque neuf au Vietnam. Si mon mémoire de fin d’études réussit bien, ce sera la première fois que le modèle WRF est utilisé au HHPC et aussi au CM. La perspective de ce mémoire se concentre non seulement sur le déploiement du modèle WRF mais encore une importante partie se concentre sur recherche de la façon pour exploiter les résultats de prévison chez les utilisateurs ordinaires. Mon mémoire se compose donc des chapitres suivants : Chapitre I : « Modèle Weather Research and Forecasting (WRF) » On présentera dans ce chapitre des connaissances du modèle de prévision météorologique WRF. On présentera en détail ensuite le sous-modèle WRF ARW (Advanced Research WRF), ses composants et la relation entre eux. Chapitre II : « Calcul à haute performance avec WRF » On abordera en détail toutes les étapes et la façon de déployer le modèle sur les superordinateurs à haute performance. Chapitre III : « Évaluation des expériences » On réalise et analyse des résultats obtenus en faisant des expériences. Les évaluations concernent la recherche de la façon d’exécution optimale du modèle sur tous les trois systèmes. On se concentre également sur la comparaison de la performance entre eux. TRAN Viet Trung ‐ Filière francophone de l’Informatique  7
  • 8. Application du modèle de prévision météorologique WRF au Vietnam  Chapitre IV : « Application du modèle WRF au Centre HPC » Ce chapitre illustrera un système professionnel déployé au centre HPC afin de pouvoir exploiter les données de sortie du modèle WRF. Le système permet d’approvisionner les bulletins de météo chez les utilisateurs ordinaires au Vietnam. TRAN Viet Trung ‐ Filière francophone de l’Informatique  8
  • 9. Application du modèle de prévision météorologique WRF au Vietnam  CHAPITRE I Modèle Weather Research and Forecasting (WRF)   1. Introduction La prévision météorologique [1] est une application des connaissances en météorologie et des techniques modernes de prises de données et d’informatique pour prédire l’état de l’atmosphère à un temps ultérieur. L’histoire de la prévision du temps remonte aux temps immémoriaux avec les oracles et devins, mais la science moderne date vraiment de la fin du XIXe siècle et du début du XXe siècle. Elle s’est cependant affirmée depuis la deuxième Guerre mondiale alors que les moyens techniques comme le radar et les communications modernes ont rendu l’accès aux données plus rapide et plus nombreuses. Les lois régissant le comportement de l’atmosphère sont dérivées de la mécanique des fluides. On peut les résoudre, grâce à des modèles mathématiques et des superordinateurs. Ce sont les modèles numériques de prévision météorologique, parmi lesquels le modèle WRF est un représentant typique de ces méthodes. Théoriquement, le Modèle Weather Research and Forecasting (WRF) [2] est un système numérique méso-échelle de nouvelle génération pour la recherche et les prévisions météorologiques. C'est une évolution et un successeur du modèle MM5. WRF est du domaine public et disponible gratuitement. Il présente des coeurs dynamiques multiples, un système d'assimilation de données en 3 dimensions variationnelles (3DVAR) et une architecture de logiciel tenant compte du calcul en parallèle et de l'extensibilité du système. WRF permet un large éventail d’applications à des échelles spatiales allantes de quelques mètres à quelques centaines kilomètres, entre lesquelles : • Prévision météo • Simulation idéalisée (LES, convection, ondes baroclines) • Paramétrisation atmosphérique • Assimilation de données • Processus de couplage Les efforts pour développer le WRF ont principalement été une collaboration entre National Center for Atmospheric Research (NCAR), National Oceanic and Atmospheric Administration (le National Centers for Environmental Prediction (NCEP) et Forecast Systems Laboratory (FSL), Air Force Weather Agency (AFWA), Naval Research Laboratory, Oklahoma University, et Federal Aviation Administration (FAA). WRF permet aux chercheurs la capacité d'accomplir des simulations reflétant des données réelles ou des configurations idéalisées. WRF TRAN Viet Trung ‐ Filière francophone de l’Informatique  9
  • 10. Application du modèle de prévision météorologique WRF au Vietnam  fournit des prévisions opérationnelles d'un modèle qui est flexible et efficace, en offrant les avances dans la physique, numeric et l'assimilation de données contribuées par la communauté de recherche. 2. Architecture du modèle WRF Les composants principaux du modèle WRF sont représentés dans la figure I-1 ci- dessous. Ce sont : • Le framework de logiciel WRF (WSF) fournit l'infrastructure qui loge les cœurs multiples dynamiques. • Les paquets de physique qui branchent le cœur par une interface standard de physique. • Les programmes de l'initialisation. • Le système de l'assimilation de données d’observation du WRF (WRF-Var). • Les cœurs multiples dynamiques. Il y a deux cœurs dynamiques disponibles jusqu'à maintenant dans le WSF : Cœur ARW (Advanced Research WRF) développé essentiellement à NCAR et cœur NMM (Nonhydrostatic Mesoscale Model) développé à NCEP. Framework de logiciel du WRF Données observées, Système de post- reanalyses, du traitement du WRF, outil modèle global ... graphique WRF-VAR   Figure I-1 Les composants du modèle WRF La suite de ce chapitre se consacre à la description de ces différents modules. 2.1. Initialisation WRF peut être exécuté avec les conditions initiales qui sont analytiquement définies pour les simulations idéalisées, il peut être également exécuté en utilisant des données interpolées d'une analyse du modèle global pour les cas de données réelles. TRAN Viet Trung ‐ Filière francophone de l’Informatique  10
  • 11. Application du modèle de prévision météorologique WRF au Vietnam  Les cas d'épreuves tant 2D que 3D pour les simulations idéalisées sont fournis. En plus, plusieurs cas d’épreuves pour les simulations de données réelles sont également fournis, qui comptent sur le système de prétraitement venu d'un paquet externe qui convert les données GRIB dans un format convenable qui est ingéré par le processus de traitement de données réelles du WRF. Les programmes qui produisent les conditions initiales spécifiques pour la fonction de cas de données idéals ou de cas de données réelles utilisent la même façon. Ils fournissent les informations ci-après à cœur dynamique du WRF: • Les données d'entrée qui est sur l'étalement horizontal et vertical correct • La référence hydrostatiquement équilibrée • Les métadonnées spécifiant de telles informations que la date, les caractéristiques physiques et les détails de projection. 2.2. WRF-VAR pour cœur ARW L'assimilation de données est la technique par laquelle les observations sont combinées avec un produit de prédiction météorologique numérique pour améliorer l’estimation de l'état atmosphérique. Les différences entre l'analyse et les observations sont réduites selon leur erreur perçue. Traditionnellement, les observations sont celles « directes » de température, d'humidité, et de vent des rapports de surface et de radiosonde. Car les techniques de télédétection rétrogradent peu à peu, les observations « indirectes » sont de plus en plus disponibles pour des chercheurs et des modeleurs opérationnels. L'utilisation efficace de ces observations indirectes pour l'analyse objective n'est pas commune, les méthodes généralement utilisées comportent les techniques de variations tridimensionnelles ou quadridimensionnelles (« 3DVAR » et « 4DVAR », respectivement), qui est probablement aussi bien employées pour des observations directes. WRF-VAR est utilisé seulement pour le modèle ARW. 2.3. Cœurs dynamiques (ARW & NMM) Les cœurs dynamiques du modèle WRF sont les composants les plus importants. Le rôle du cœur est de traiter les données d’entrée pour relever les résultats de prévision météorologique. Évidemment, le temps d’exécution du modèle dépend beaucoup de la performance du cœur. Advanced Research WRF (ARW) et Non- Hydrostatic Mesoscale (NMM) sont deux cœurs dynamiques du modèle WRF. On peut considérer que le modèle WRF se compose de différents sous-modèles avec même architecture mais en différents codes de cœurs correspondant au modèle ARW ou au modèle NMM. TRAN Viet Trung ‐ Filière francophone de l’Informatique  11
  • 12. Application du modèle de prévision météorologique WRF au Vietnam  Voici quelques caractéristiques essentielles du cœur ARW et du cœur NMM. Grâce à ces informations, on peut trouver le meilleur cœur du modèle correspondant à des tâches différentes. • Les caractéristiques communes. - Recherche de physique atmosphérique - Cas d’étude de recherche - Opération professionnelle de prédiction météorologique numérique du temps réel et recherche de système de pronostics - L'enseignement de la dynamique et de PNT • Pour ARW seulement. - Recherche du climat régional et de la période saisonnière - Applications du Coupled-model* (par ex. l'océan, la chimie). - Simulations idéalisées à beaucoup d’échelle (par ex. convection, les signes de baroclinic, les grandes simulations de tourbillon) - Recherche d'assimilation de données. 2.4. Les paquets de physique Pour la simulation du climat réel et faire des simulations avec les résolutions grossières, un ensemble minimal des composants de physique est exigé, par exemple : la radiation, la couche limite, la surface de terrain, la convection, la diffusion de tourbillon de sous-grille et la microphysique. Puisque le modèle est développé pour la recherche et aussi pour les opérations, les plans de physique sophistiqués et les plants de physique simples sont nécessaires dans le modèle. Les objectifs du développement de physique WRF sont d'implémenter un ensemble fondamental de la physique dans le modèle WRF et de concevoir une interface de physique facile à utiliser. Les options de physique du WRF tombent dans plusieurs catégories, chaque catégorie entretient plusieurs options. Les catégories de physique sont : la microphysique, le cumulus, la couche limite planétaire (PBL), le modèle de la surface de terrain et la radiation. 2.5. Outil de post-traitement du WRF Ce sont les logiciels qui permettent de visualiser les données sorties en graphique. Les données de sortie sont dans le format de netCDF peuvent essentiellement être visualisée en utilisant n'importe quel logiciel capable de traiter ce format de données. Actuellement trois programmes utilités de post-traitement sont soutenus, NCL, RIP4, ARWpost (le convertisseur à GrADS et à Vis5D). NCL et RIP4 TRAN Viet Trung ‐ Filière francophone de l’Informatique  12
  • 13. Application du modèle de prévision météorologique WRF au Vietnam  peuvent seulement lire des données dans le format de netCDF, tandis qu'ARWpost peut lire des données dans le format de GRIB1 et netCDF. a. NCL, Graphique NCAR Graphique NCAR [3] était un outil graphique très populaire qui est très bien documenté et largement utilisé. Il fournit les ingrédients de base pour créer des figures complexes grâce à des fonctions / routines qui peuvent être appelées par des programmes en Fortran ou en C. Une interface de programmation pour l'outil de graphiques NCAR a été développée : NCL (NCAR Command Language, langage de commande NCAR). Les interfaces de programmation fournissent l'accès à des utilitaires graphiques complexes comme la détection de contours, la projection sur la carte de la terre et le tracé de vecteurs vitesse. L'interface C est majoritairement construite au-dessus de l'interface Fortran. NCAR est distribué sous la licence publique générale GNU.   Figure I-2 Graphique NCAR et RIP4 b. RIP4 RIP4 [4] est un programme Fortran qui invoque des routines Graphiques NCAR pour but de visualiser des ensembles de données météorologiques, essentiellement des données des modèles numériques meso-échelles. Il peut aussi être utilisé pour visualiser les données d’entrée du modèle ou les analyses de sortie sur les grilles du modèle. Il a été développé depuis 1991, essentiellement par Mark Stoelinga tant à NCAR qu'à l'Université de Washington. RIP est un composant officiel du modèle TRAN Viet Trung ‐ Filière francophone de l’Informatique  13
  • 14. Application du modèle de prévision météorologique WRF au Vietnam  WRF, mais il pourrait potentiellement être utilisé avec la production de n'importe quel modèle numérique meso-échelle. Le programme est conçu pour être portatif à n'importe quel système UNIX qui a un compilateur Fortran 77 ou Fortran 90 et la bibliothèque Graphique NCAR. c. GrADS Grid Analysis and Display System (GrADS) [5] est un outil d'analyse et de visualisation interactif de données en sciences de la terre. Les données sont généralement 4D (latitude, longitude, altitude et temps). Les opérations du GrADS peuvent être exécutées directement sur les données en entrant les expressions comme le langage FORTRAN à la ligne d'instruction et en mode interactif. D’ailleurs, un ensemble riche des fonctions intégrées est fourni. En plus, les utilisateurs peuvent ajouter leurs propres fonctions comme les routines externes écrites dans n'importe quel langage de programmation. La syntaxe d'expression permet des opérations complexes, par exemple : de grandes quantités de données peuvent être exécutées avec les expressions simples.   Figure I-3 Image de GrADS TRAN Viet Trung ‐ Filière francophone de l’Informatique  14
  • 15. Application du modèle de prévision météorologique WRF au Vietnam  d. Vis5D Pour avoir des images de visualisation en 3 dimensions de données de sortie du modèle WRF, on peut utiliser le programme Vis5D, qui était le premier logiciel libre de visualisation en 3 dimensions de données météorologiques.   Figure I-4 Logiciel Vis5D Parmi lesquels, Graphiques NCAR était le programme le plus populaire pour visualiser les données de sortie du modèle puisqu’il peut produire des images de visualisation de qualité. Grâce à son interface de programmation, NCL, on peut manipuler facilement les champs météorologiques de donnée en utilisant un grand nombre de bibliothèques disponibles pour le modèle WRF. 3. Sous modèle WRF ARW Comme je l’ai déjà mentionné dans le précédent secteur, on peut considérer que WRF se compose de différents sous-modèles de même architecture mais en différents codes de cœurs correspondant au modèle ARW ou au modèle NMM. Afin de servir l’opération de prévision météorologique au Vietnam, après avoir consulté les chercheurs expérimentés du Centre de Météo, nous avons le grand plaisir de choisir le modèle ARW comme le but de recherche approfondie. Les connaissances présentées ici constituent donc une base solide pour moi de bien déployer le modèle. Les composants de système du modèle ARW La figure suivante montre l'ordinogramme pour le modèle ARW de la version 2 : TRAN Viet Trung ‐ Filière francophone de l’Informatique  15
  • 16. Application du modèle de prévision météorologique WRF au Vietnam  Ideal 2D Ideal 2D Ideal 3D hill Squall line supercell Ideal 2D Ideal 3D grav baroclinic Waves Données géographiques NCAR graphics statiques NCL WRF-Var WPS OUTPUT RIP4 Données du modèle global (NAM,GPS,RUC, ARWpost NNRP) (GRADS/Vis5D)   Figure I-5 Les Composants du Système du modèle ARW 3.1. Le Système de prétraitement (WPS) Le système de prétraitement (WPS) est un ensemble de trois programmes dont le rôle collectif est de préparer la donnée d’entrée au programme « real.exe » pour les simulations de données réelles. Chaque programme exécute un stade de la préparation : le « geogrid » définit des domaines et interpole des données géographiques statiques aux grilles; « ungrib » extrait des champs météorologiques des fichiers au format de GRIB; et le « metgrid » interpole horizontalement les champs météorologiques extraits par « ungrib » aux grilles définies par « geogrid ». Le travail qui est d’interpoler verticalement les champs météorologiques aux niveaux eta de WRF (eta levels) est maintenant exécuté dans le programme « real.exe ». TRAN Viet Trung ‐ Filière francophone de l’Informatique  16
  • 17. Application du modèle de prévision météorologique WRF au Vietnam    Figure I-6 Système de prétraitement L'écoulement des données entre les programmes du WPS est montré dans la figure ci-dessus. Chacun des programmes WPS lit des paramètres d'un fichier namelist commun, comme montré dans la figure. Ce namelist a des parties séparées pour chacun des programmes et d'une partie partagée, qui définit des paramètres utilisés par plus qu'un programme WPS. Il y a encore des fichiers de table supplémentaires qui sont utilisés par les programmes individuels ne sont pas montrés dans la figure. Ces tables fournissent le contrôle supplémentaire sur l'opération des programmes, bien que généralement ils n'aient pas besoin d'être changés par l'utilisateur. Fonction de chaque programme du WPS Programme geogrid Le but de « geogrid » est de définir les domaines de simulation et d’interpoler des ensembles de données terrestres différentes aux grilles-modèles. Le domaine de simulation est défini en utilisant des renseignements spécifiés par l'utilisateur dans la partie « geogrid » du fichier namelist.wps. Par défaut, en calculant la latitude et la longitude pour chaque point de grille, « geogrid » interpolera des catégories de sol, la catégorie d'utilisation de terrain, l’altitude de terrain, la température moyen annuel du sol profond, la fraction de végétation mensuel, l'albédo de neige maximum aux grilles-modèles. Ensembles de données globaux pour chaque champ sont fournis par le site Internet MMM et doivent seulement être téléchargé une seule fois. Plusieurs des ensembles de données sont disponibles pour une seule résolution, mais d'autres sont disponible dans les résolutions de 30”, 2’, 5’ et 10’. L'utilisateur n'a pas besoin de télécharger toutes les résolutions disponibles pour un ensemble de données, bien que les champs interpolés soient généralement plus représentatifs si une résolution de données du source était près de laquelle du domaine utilisé de simulation. Pourtant, TRAN Viet Trung ‐ Filière francophone de l’Informatique  17
  • 18. Application du modèle de prévision météorologique WRF au Vietnam  les utilisateurs qui s'attendent travailler avec les domaines ayant des écartements de grille qui couvrent une grande gamme peuvent vouloir finalement télécharger toutes les résolutions disponibles des données terrestres. En plus du fait d'interpoler les champs terrestres implicites, le programme « geogrid » est assez général pour être capable d'interpoler la plupart des champs continus et catégoriques aux domaines de simulation. Les ensembles de données nouvelles et supplémentaires peuvent être interpolés au domaine de simulation par l'aide du fichier de table, GEOGRID.TBL. Le fichier GEOGRID.TBL définit chacun des champs qui seront produits par « geogrid »; il décrit les méthodes d'interpolation d’un champ, aussi bien que l'endroit d’hébergement où l'ensemble de données de ce champ est trouvé. La production de « geogrid » est écrite au format E/S de WRF API et ainsi, en choisissant le format E/S NetCDF, « geogrid » peut écrire sa production au format NetCDF pour la visualisation facile en utilisant des paquets de logiciel externes. Programme ungrib Le programme « ungrib » lit des fichiers GRIB, interprète les données et les écrit dans un format simple, appelé le format intermédiaire. Les fichiers GRIB contiennent des champs météorologiques variables aux temps et sont au format d'un autre modèle global, comme le NAM de NCEP ou les modèles de GFS. Le programme « ungrib » peut lire les fichiers GRIB en version 1 et 2. En effet, les fichiers GRIB contiennent plus de champs météorologiques qui sont nécessaires pour initialiser WRF. Tant les versions du format de GRIB utilisent des codes différents pour identifier les variables dans le fichier, « Ungrib » utilise des tables des codes - appelé Vtables, qui contient la liste des variables - pour définir quels sont les champs pour extraire et pour écrire au format intermédiaire. Vtables sont fournis avec le programme « ungrib ». D’ailleurs, Vtables sont disponibles pour le format des grilles NAM 104 et 212, le NAM AWIP, GFS, la Réanalyse NCEP/NCAR archivée à NCAR, RUC (les données de niveau de pression et les données de coordonnée hybrides) et l’AGRMET AFWA qui rapporte la production de surface du modèle. Les utilisateurs peuvent créer leur propre Vtable pour d'autre production du modèle en utilisant n'importe quel Vtables comme un gabarit, « Ungrib » peut écrire des fichiers de données intermédiaires à un de trois formats d'utilisateur-selectable suivants : • WPS - un nouveau format contenant des renseignements supplémentaires utiles pour optimiser l’exécution des programmes du modèle WRF. • Le SI - le format intermédiaire précédent du modèle WRF. TRAN Viet Trung ‐ Filière francophone de l’Informatique  18
  • 19. Application du modèle de prévision météorologique WRF au Vietnam  • Le format de MM5, qui est inclus ici pour que « ungrib » puisse être utilisé pour fournir les données d’entrée au format GRIB2 au système du modèle MM5. Certes, n'importe quel format peut être utilisé par WPS afin d’initialiser le modèle WRF, mais le format de WPS soit recommandé. Les données météorologiques du modèle global pour « ungrib » : Les fichiers GRIB sont séparés en plusieurs sections, les sections, avant chaque enregistrement, décrivent quelles données sont contenues dans l'enregistrement (paramètres, temps de début, temps de prévision, résolution de la grille etc.) et la dernière section contient les données binaires elles-mêmes. Les principales données disponibles sont : • Réanalyses NCEP/NCAR : « NCEP/NCAR Reanalysis Project » est un projet commun entre les NCEP (National Centers for Environmental Prediction) et le NCAR (National Center for Atmospheric Research). Le but de ce projet était de fournir de nouvelles analyses atmosphériques en utilisant les données historiques et ainsi produire l'analyse de l'état de l'atmosphère actuelle. Ces données globales ont une résolution de 2.5 x 2.5 degrés, elles sont disponibles toutes les 6 heures depuis 1948. • Réanalyses ECMWF (format GRIB): La réanalyse appelée ERA-40 a été effectuée par le « European Centre » for « Medium-Range Weather Forecasts » (ECMWF) pendant des années de 1957 à 2001. Le ECMWF avait déjà effectué une réanalyse pendant la période de 1979 à 1993, le projet ERA-15, mais le projet ERA-40 est beaucoup plus complexe, puisqu'il recouvre quarante années. De plus, ce projet est d'autant plus complexe qu'il couvre des périodes où les avancées technologiques en matière d'observations météorologiques ont été très importantes, notamment avec l'apparition et la généralisation de l'utilisation des satellites. Comme précédemment les données sont globales et disponibles à une résolution de 2.5 x 2.5 degrés toutes les 6 heures. • Prévisions NCEP GFS/AVN (format GRIB): Un modèle numérique de prévision qui produit en temps réel des données de prévision jusqu'à 360 heures (15 jours). Les données de réanalyse sont des données obtenues à partir des modèles lancés sur plusieurs années en mode d’assimilation de données. Des données d'observations sont donc introduites au modèle. Selon le type de simulation que l'on souhaite effectuer, l'utilisation de certains types de données est préférable. Dans le cadre de TRAN Viet Trung ‐ Filière francophone de l’Informatique  19
  • 20. Application du modèle de prévision météorologique WRF au Vietnam  simulations à long terme, les données de réanalyse sont très utiles. Par contre pour effectuer des prévisions, les données GFS/AVN sont appropriées. C’est pour ces raisons qu’il est préférable d'utiliser des données GFS/AVN, en effet la compréhension des phénomènes passés permet notamment, en comparaison avec les simulations numériques, d'améliorer les modèles de prévision utilisés en intégrant le maximum d'observations. Cela revient à utiliser le maximum de données disponibles pour mieux décrire les phénomènes atmosphériques. Programme metgrid Le programme « metgrid » interpole horizontalement les données météorologiques au format intermédiaire qui sont extraits par le programme « ungrib » sur les domaines de simulation que le programme « geogrid » a bien défini. La production interpolée par « metgrid » peut alors être ingérée par le programme « real.exe ». Les durées de temps interpolées par « metgrid » sont définies dans la partie "share" de liste de nom du fichier namelist.wps de WPS, ils doivent être spécifiées individuellement dans le namelist pour chaque domaine de simulation. Puisque le travail du programme « metgrid », comme cela du programme « ungrib », est dépendant de temps, le programme « metgrid » est initialisé chaque fois qu’on dirige une nouvelle simulation. Le contrôle de comment chaque champ météorologique est interpolé est fourni par le fichier METGRID.TBL. Concrètement, le fichier METGRID.TBL fournit une section à chaque champ et dans une section, il est possible de spécifier des options comme les méthodes d'interpolation. La production de « metgrid » est écrite dans le format d'E/S WRF API et ainsi, en choisissant le format d'E/S NetCDF, « metgrid » peut écrire sa production au format NetCDF pour la visualisation facile en utilisant des paquets de logiciel externes, en incluant la nouvelle version de RIP4. Parallélisme dans le WPS Si les dimensions des domaines traités par le WPS deviennent trop grandes pour se situer dans la mémoire d'une seul unité centrale, il est possible d’exécuter le programme « geogrid » et le programme « metgrid » dans une configuration de mémoire distribuée. Pour compiler « geogrid » et « metgrid » à l'exécution en mémoire distribué, l'utilisateur doit avoir des bibliothèques MPI installées sur la machine prévue et doit avoir compilé WPS en utilisant une "options de configuration" de "DM parallel". Lorsque la compilation réussie, les programmes « geogrid » et « metgrid » peuvent être exécutés avec l'instruction mpirun (du MPICH) ou poe (du MPI de l’IBM AIX 1600), selon la machine. TRAN Viet Trung ‐ Filière francophone de l’Informatique  20
  • 21. Application du modèle de prévision météorologique WRF au Vietnam  Comme on l'a mentionné plus tôt, le travail du programme « ungrib » n'est pas disponible à la parallelization et, de plus, les exigences de mémoire pour le traitement de « ungrib » sont indépendantes des exigences de mémoire de « geogrid » et de « metgrid » ; ainsi, « ungrib » est toujours compilé pour une seul unité centrale et dirigé sur une seule unité centrale, sans tenir compte sur "option de configuration" de "DM parallel" a été choisie pendant la configuration. Programme Parallelization Geogrid.exe Oui Ungrib.exe Non Metgrid.exe Oui Tableau I-1 Parallélisme dans le WPS Chacun des formats d'E/S de WRF API standard (NetCDF, GRIB1, binaires) a un format parallèle correspondant, dont le code est donné en ajoutant 100 à la valeur d'io_form (par exemple, io_form_geogrid) pour le format standard. Il n'est pas nécessaire d'utiliser un io_form parallèle, mais quand on l’a utilisé, chaque unité centrale lira (écrira) sa donnée d’entrée (ou de sortie) sur un fichier séparé, dont le nom est simplement le nom qui serait utilisé pendant l'exécution série, mais avec une carte d'identité d'unité centrale de quatre chiffres ajoutée au nom. Par exemple, exécuter « geogrid » sur quatre unités centrales avec io_form_geogrid=102 créerait geo_em.d01.nc.0000, geo_em.d01.nc.0001, geo_em.d01.nc.0002 et geo_em.d01.nc.0003 pour le domaine grossier. Pendant l'exécution dans la mémoire distribuée, les domaines-modèles sont décomposés dans les pièces rectangles. Par conséquent, si un parallèle io_form est choisi pour la sortie de « geogrid », « metgrid » doit être dirigé en utilisant le même nombre d'unités centrales qu'ont été utilisés pour diriger « geogrid ». De même si un parallèle io_form est choisi pour les fichiers de sotie « metgrid », le programme « real.exe » doit être dirigé en utilisant le même nombre d'unités centrales. Évidemment, il est toujours possible d'utiliser une seule norme io_form en dirigeant sur plusieurs des unités centrales, dans ce cas, toutes les données d’entrée et même de sortie sont distribués. Comme une note finale, quand « geogrid » ou « metgrid » sont dirigés par plusieurs des unités centrales, chaque unité centrale écrira son propre fichier de journal (log file), avec les noms des fichiers étant ajoutés avec les mêmes codes de carte d'identité d'unité centrale de quatre chiffres qui sont utilisés pour les fichiers d'E/S de WRF API. 3.2. Initialisation du modèle ARW Introduction TRAN Viet Trung ‐ Filière francophone de l’Informatique  21
  • 22. Application du modèle de prévision météorologique WRF au Vietnam  Le modèle ARW a deux grandes classes de simulations qu'il est capable de produire: Ceux sont avec une initialisation idéale et ceux utilise les données réelles pour l'initialisation. Ci-dessous, nous allons présenter tous les deux types d’initialisation du modèle WRF ARW.   Figure I-7 Initialisation du modèle ARW La sélection du type de simulations de prévision est faite en exécutant l’instruction «./compile ». Si l'utilisateur choisit « ./compile em_real », le programme d'initialisation sera construit en utilisant un des modules prévus du cas de données réelles (un des fichiers ./WRFV2/dyn_em/module_initialize_*.F). Pour chaque programme d’initialisation, la même sorte d'activités continue à faire : • Lire les données du fichier namelist • Allouer l'espace de mémoire • Calculer l'état de base (états de l’initialisation) • Initialiser le reste de variables • Produiser le fichier de condition initial (wrfinput_d*, wrfbdy_d*) Le cas de données réelles fait un peu de travail supplémentaire : • Lire les données d'entrée approvisionné par le WPS ou le SI) si ce sont les données du WPS, calculer la pression sèche de surface, les niveaux (level) du modèle et interpoler verticalement des données • Calculer le profil de température de référence (différence avec les cas idéals, tenir compte des normes saisonnières) • Préparer des champs de sol pour l'utilisation dans le modèle (l'interpolation verticale aux niveaux demandés) TRAN Viet Trung ‐ Filière francophone de l’Informatique  22
  • 23. Application du modèle de prévision météorologique WRF au Vietnam  • Faire les chèques pour vérifier les catégories de sol, terrain d'utilisation, le masque de terrain, la température de sol, la température de surface de la marine. Tous ce sont en accord l'un avec l'autre • Les 3D données (u, v, t, q, ph) sont couplés avec les facteurs de carte (sur l'étalement correct) et le total « mu » Initialisation pour les cas de données idéales Le programme "idéal" est une alternative dans le système ARW. Il permet de faire initialisation pour les cas de données idéals. Typiquement, ce programme n'exige aucun de donnée d’entrée. Le programme « ideal.exe » se concentre seulement aux les travaux de recherche, donc on ne fait pas les recherches approfondies ici. Ideal 2D Ideal 2D Ideal 3D hill Squall line supercell Ideal 2D Ideal 3D grav baroclinic Waves   Figure I-8 Initialisation pour les cas de données idéaux Les cas de données idéales disponibles sont comme ci-dessous : • Squall2d_x (test/em_squall2d_x) - La ligne de rafale 2D (x, z) utilisant la microphysique de Kessler et 300 m^2/s fixés viscosité. - La condition période utilisé dans l’axe y pour que le modèle 3D produise la 2D simulation. - La vitesse v devrait être le zéro et il ne devrait y avoir aucune variation dans l’axe y aux résultats. • Squall2d_y (test/em_squall2d_y) - Même comme squall2d_x, sauf avec (x) tourné à (y). - La vitesse u devrait être le zéro et il ne devrait y avoir aucune variation dans l’axe x aux résultats. TRAN Viet Trung ‐ Filière francophone de l’Informatique  23
  • 24. Application du modèle de prévision météorologique WRF au Vietnam  • La simulation de supercellule en quart-cercle 3D (test/em_quarter_ss). - Les supercellules mouvantes à gauches et à droites sont produites. • L’écoulement sur une colline en forme de cloche 2D (x, z) (test/em_hill2d_x) - Avec la demi-largeur de 10 kms, la longueur de grille de 2 kms, la colline de 100 m de haut, l’écoulement de 10 m/s, - N=0.01/s, domaine de 30 kms de haut, 80 niveaux, les limites ouvertes radiatives, absorption de la limite supérieure. - Ce cas est dans le régime hydrostatique linéaire. • Vagues baroclinic 3D (test/em_b_wave). Initialisation pour les cas de données réelles Le cas de données réelles était très important dans le modèle ARW avec lequel on pourra exécuter le modèle jour après jour pour servir des opérations de prévision météorologique. Ce sera donc également le type d’initialisation du ARW déployé au centre HPC. Donées géographiques statiques WPS Donées du modèle global (NAM,GPS,RUC, NNRP) Source externe de donnée Système de prétraitement du WRF   Figure I-9 Initialisation pour les cas de données réelles Les données réelles sont fournies par le Système de Prétraitement (WPS). Fonctionnellement, WPS produit les données de sortie qui sont introduites ensuite au programme « real.exe » comme les données d’entrée. WPS envoie des données ci-dessous qui sont prêts à être utilisées dans le programme « real.exe »: • Les données d’entrées au format E/S de l’API de WRF. • Les données ont déjà été interpolé horizontalement au point de grille correct pour chaque variable. TRAN Viet Trung ‐ Filière francophone de l’Informatique  24
  • 25. Application du modèle de prévision météorologique WRF au Vietnam  • Les données météorologiques 3D du WPS : u, v, theta, mélange de ratio • Les données 3D de surface du WPS : la température de sol, l'humidité de sol, le liquide de sol • Les données météorologiques 2D du WPS : La totale pression de surface sèche • Les données statiques 2D : Le terrain, les catégories de terrain, les informations de sol, les facteurs de carte, Coriolis, la rotation de projection, les données interpolées mensuelles. • La matrice 1D de la coordonnée verticale • Constants : la taille du domaine, la date, les listes de champs optionnels disponibles, le coin latitude/longitude 3.3. Cœur ARW du WRF Le coeur ARW a pour un modèle complètement compressible et nonhydrostatique (avec une option hydrostatique). Sa coordonnée verticale est une coordonnée de pression hydrostatique suivant le terrain. L'étalement de grille est la C-grille Arakawa. De plus, le modèle utilise les projets 2D et 3D d'intégration de temps d'ordre Runge-Kutta et projets à l’ordre 2D de 6D d'advection dans les directions tant horizontales que verticales.   Figure I-10 Coordonnée de pression hydrostatique suivant le terrain Le modèle ARW (avec cœur ARW) soutient une variété de capacités. Celle-ci inclut : • Les simulations avec les données réelles et les données idéalisées • Les options de conditions limites latérales différentes pour les simulations avec les données réelles et les données idéales TRAN Viet Trung ‐ Filière francophone de l’Informatique  25
  • 26. Application du modèle de prévision météorologique WRF au Vietnam  • Les options complètes de physique • Bien-déterminé-positif d'advection • Non-hydrostatique et hydrostatique (l'option à la durée d'exécution) • Emboîtement « one-way », « two-way », emboîtement mouvant • Analyse en trois dimensions. • Assimilation des données d’observation. Emboîtement du ARW L'ARW soutient la technique d’emboîtement horizontal qui permet la résolution d'être concentrée sur une région d'intérêt en présentant une grille supplémentaire (ou les grilles) dans la grille de simulation. Certes, cette implémentation d’emboîtement est en façons semblables aux implémentations dans d'autre modèle méso-échelle (par exemple MM5). Mais, l'amélioration importante du technique d’emboîtement de l'infrastructure du ARW par rapport aux techniques utilisées dans d'autres modèles est la capacité de calculer efficacement en parallèle la simulation avec des grilles d’emboîtement. Actuellement, il est possible de choisir un emboîtement dit « two-way » ou « one- way ». En « one-way » seul le domaine grossier peut affecter le domaine plus fin. Les conditions limites du domaine fin sont dérivées de celles du domaine grossier par interpolation. En « two-way » les résultats sur le domaine fin peuvent affecter la solution sur le domaine grossier, par conséquent l'interaction est totale entre les différents domaines.   Figure I-11 Emboîtement du modèle ARW TRAN Viet Trung ‐ Filière francophone de l’Informatique  26
  • 27. Application du modèle de prévision météorologique WRF au Vietnam  4. Conclusion Dans ce chapitre on a eu une vue globale de différents modules composant du modèle WRF et en particuler une vue globale du système du sous modèle WRF ARW. Ceci a permis une première approche et était indispensable pour pouvoir ensuite utiliser le modèle ARW à bon escient. Les chapitres qui suivent, mentionnent son application à la réalité. À partir de ce chapitre, le nom «Modèle WRF » est utilisé pour indiquer le modèle WRF ARW puisque ce nom est utilisé plus populairement. TRAN Viet Trung ‐ Filière francophone de l’Informatique  27
  • 28. Application du modèle de prévision météorologique WRF au Vietnam  CHAPITRE II Calcul à haute performance avec WRF Grâce aux connaissances théoriques du modèle de prévision météorologiqueWRF, On sera le déployer sur les ordinateurs à haute performance. Ce travail permet de renforcer les connaissances théoriques et également d’apporter le premier résultat le plus important afin qu’un système professionnel de prévision météorologique soit bien construit et appliqué au Vietnam. 1. Matériel Le modèle WRF sera déployé sur tous les trois superordinateurs à haute performance : Bkluster, IBM eserver 1350, IBM AIX eserver 1600. Le déploiement du modèle sur BKluster a pour but d’exploiter les prévisions vers les utilisateurs ordinaires. En revanche, Le modèle WRF sera déployé sur tous les deux superordinateurs du centre HPC de l’université nationale de Hanoi pour être exploité par les chercheurs du Centre de Météo (CM), Université Nationale de Hanoi. 1.1. Bkluster Centre HPC est équipé un cluster comportant : • 2 Nœuds de calcul. Chaque nœud se compose d’un processeur avec coeur double Intel Xenon 2.66 GHz, mémoire centrale : 2 GO, disque dur 80 GO. • 1 Nœud de serveur se compose d’un processeur avec coeur double Intel Xenon 3.0 MHz, mémoire centrale : 1 GO, disque dur 240 GO • Interfaces réseau : GEthernet. • Système d'exploitation : CenOS 5 • Compilateur : Fortran, C, C++ du Portland Group version 7.0 • Bibliothèque de programmation par passages de messages : MPICH 1.2.7 et MPICH 2 – version 1.0.3 • Performance totale du système : ≈ 10 GFlops. 1.2. IBM eServer Cluster 1350 • 8 Noeuds de calcul, Chaque noeud se compose de deux processeurs Intel Xeon Dual Core 3.2 GHz, 2GB RAM, 1x36 GB HDD, DVD ROM. Performance totale du système (8 noeuds) :≈ 51.2 GFlops • 2 Noeuds de stockage, Chaque noeud se compose de deux processeurs Intel Xeon Dual Core 3.2 GHz, 3 GB RAM, 4x72 GB HDD TRAN Viet Trung ‐ Filière francophone de l’Informatique  28
  • 29. Application du modèle de prévision météorologique WRF au Vietnam  • 1 Noeud de gestion, se compose un processeur Intel Xeon Dual Core 3.2, 3 GB RAM, 2x36 GB HDD • Équipement de stockage : IBM EXP400 Ultra320 SCSI Storage Enclosure, 10x73 GB HDD SCSI 320 MBps 15KRpm, système de fichier disque- partagé : GPFS pour Linux v2.3.0.5 • Système d’exploitation : HĐH Redhat Enterprise Linux 3.0 • Interfaces réseau : GEthernet 1.3. IBM eserver Cluster 1600 • 5 Nœuds de calcul pSeries 655, Chaque nœud se compose de 4 CPU Power 4+ 64 (2core) bit RISC 1.7 GHz du IBM; cache 5.6MB ECC L2, 128MB ECC L3, largeur de bande du cache : 72.3 GBps; 32GB RAM, largeur de bande du mémoire 51.2 GBps; 6x36 GB HDD. Performance totale du système (5 nœuds) : 240 GFlops (limite d’enlargir : 768 GFlops/16 noeuds). • 1 nœud de gestion CSM p630: Power4+ 64 bit (2 core) 1.2 GHz; cache 1.5 MB ECC L2, 8MB ECC L3, Largeur de bande du cache: 12.8 GBps; 1GB RAM, Largeur de bande du mémoire : 6.4 GBps; 6x36 GB HDD, DVD ROM. • 1 Nœud de contrôle du matériel HCM: Intel Xeon 3.06 GHz, 1GB RAM, 40 GB HDD, DVD RAM. • Tous les nœuds se connectent par HPS (Switch à haute performance), Largeur de bande : 2GBps GEthernet. • Équipement de stockage partagé : IBM DS4400 et EXP700 connectent au Système IBM 1600 par Cable optique 2Gbps. 300 250 200 150 Performance de calcul 100 50 0 Bkluster IBM eserver 1350 IBM eserver 1600 Figure II-1 Comparaison de la performance de calcul entre trois systèmes. La figure II-1 montre que la performance de calcul du système IBM AIX eserver 1600 était la plus haute de tous les trois. Pourtant, la performance réelle dans les problèmes concrets ne reflète pas totalement comme ceci montré dans cette figure. TRAN Viet Trung ‐ Filière francophone de l’Informatique  29
  • 30. Application du modèle de prévision météorologique WRF au Vietnam  2. Environnement du logiciel 2.1. Compilateurs et langage de programmation demandés Le modèle WRF est écrit en langage Fortran (comme Fortran 77, Fortran 90). Parmi les composants du modèle WRF, RSL et maintenant RSL_LITE, qui s'assoit entre WRF et l'interface MPI est écrit en langage C. Il y a aussi des programmes auxiliaires qui sont écrits en C pour exécuter l'analyse syntaxique et la construction de fichiers. Donc, un compilateur C est aussi nécessaire pour compiler des programmes et des bibliothèques externes. Supplémentairement, le mécanisme de bâtiment du WRF utilise plusieurs langage de script : perl (pour manipuler les tâches différentes comme le navigateur de code), Cshell et Bourn Shell. Les outils traditionnels de traitement de texte sous UNIX sont utilisés : make, M4, sed et awk. Le WRFSI est surtout écrit dans le langage Fortran 77 et le langage Fortran 90 avec quelques routines en langage C. Les scripts de Perl sont utilisés pour diriger les programmes et Perl/Tk est utilisé pour GUI ( interface graphique pour l’utilisateur). “Make” est utilisé dans la construction de tout executables. 2.2. Les bibliothèques optionnelles La seule bibliothèque qui est presque toujours exigée est le paquet netCDF [6] d'Unidata, puisque le modèle WRF utilise les bibliothèques netCDF pour lire et écrire les données de sorties et les données temporaires en format netCDF. Pour la mémoire distribuée, il faut installer une bibliothèque de programmation par passages de messages (MPICH, PVM) [7]. Parmi toutes les versions du MPICH, la version 2 du mpich est recommandée. En ce qui concerne les programmes utiles pour visualiser les données temporaires du modèle, on a besoin également des bibliothèques du Graphique NCAR installés sur le système. Par ailleurs, il y a trois bibliothèques qui seront exigées par le programme ungrib pour soutenir l'Édition GRIB 2 [8] de compression. • JasPer (une implémentation de la norme JPEG2000 pour la compression "lossy") • Zlib (une autre bibliothèque de compression, qui est utilisée par la bibliothèque PNG) • PNG (la bibliothèque de compression pour la compression "lossless") TRAN Viet Trung ‐ Filière francophone de l’Informatique  30
  • 31. Application du modèle de prévision météorologique WRF au Vietnam  3. Domaines de calcul En considération de la performance totale de trois systèmes (BKluster,IBM eserver 1350, IBM eserver 1600), des expériences et des résultats, les différents domaines de calcul seront utilisés pour chaque système. 3.1. Domaine de calcul au Bkluster. La performance totale du système BKluster était plus faible, c’est la raison pour laquelle le domaine à calcul est déterminé le plus petit. La résolution horizontale de ce domaine (Figure II-2) composant 112x61 points est de 18km. En plus, ce domaine recouvre seulement le Vietnam. Pour servir les opérations de prévision fondamental comme la prévision de température, la prévision de condition du ciel, ce domaine est acceptable. Les paramètres du domaine Vietnam1 : e_we = 61, e_sn = 112, geog_data_res = '30s', dx = 18000, dy = 18000, map_proj = 'lambert', ref_lat = 15.8, ref_lon = 105.4, truelat1 = 15, truelat2 = 15, stand_lon = 105,   Figure II-2 Domaine Vietnam1 3.2. Domaine de calcul au IBM eserver 1350. Le premier domaine (Figure 2-1) recouvre l'Asie du Sud-est: 5-30o N, 90-125o E. Il se compose de 50x70 points avec la résolution horizontale égale à 54km. Verticalement, ce domaine se divise en 23 niveaux sigma à partir de la surface jusqu'à 100mb. Les paramètres du domaine DNA_nested : e_we = 70,61, TRAN Viet Trung ‐ Filière francophone de l’Informatique  31
  • 32. Application du modèle de prévision météorologique WRF au Vietnam  e_sn = 50,100, dx = 54000, dy = 54000, map_proj = 'lambert', ref_lat = 17.5, ref_lon = 107.5, truelat1 = 17.5, truelat2 = 17.5, stand_lon = 107.5,     Figure II-3 Domaine DNA_nested Le deuxième domaine était exactement le domaine utilisé au Bkluster. Ce domaine recouvre tout le Vietnam et il est parfaitement emboîté au premier. Utilisant le premier domaine qui a le rayon d’observation plus large, les chercheurs pourront faire des prévisions de la tendance de la météo comme les saisons, les tempêtes, les orages… TRAN Viet Trung ‐ Filière francophone de l’Informatique  32
  • 33. Application du modèle de prévision météorologique WRF au Vietnam  3.3. Domaine de calcul au IBM eserver 1600 Évidemment, IBM eserver 1600 était le système le plus puissant des trois systèmes. C’est pourquoi ses domaines à calcul se composent de deux domaines ci-dessus et encore des domaines plus petits pour chaque région du pays. Ces petits domaines ont possibilité d'avoir une résolution égale de 6 km pour une prévision météo plus précise. Les paramètres du domaine DNA_nested2 : e_we = 70,61,100,70,76,97, e_sn = 50,112,64,76,79,61, dx = 54000, dy = 54000, map_proj = 'lambert', ref_lat = 17.5, ref_lon = 107.5, truelat1 = 17.5, truelat2 = 17.5, stand_lon = 107.5,   Figure II-4 Domaine DNA-nested2 TRAN Viet Trung ‐ Filière francophone de l’Informatique  33
  • 34. Application du modèle de prévision météorologique WRF au Vietnam  4. Données du modèle ARW 4.1. Données météorologiques Les sources de données utilisées pour modèle ARW sont extraites à partir des autres modèles régionaux ou des modèles globaux au format GRIB1 ou GRIB2 comme le modèle GFS/AVN, modèle NAM… Pourtant, selon les chercheurs au Centre de Méteo, Il vaut mieux utiliser les données météorologiques extraites du modèle global GFS/AVN. Ces données peuvent être utilisées afin de prévoir le temps pour 16 jours, l'intervalle entre les prévisions est de 3 heurs, et le moment d'analyse est: 0h, 6h, 12h, et 18h (UTC/GMT). En réalité, les calculs effectués par un modèle numérique voient leur fiabilité diminuer à mesure que leur échéance s'éloigne du moment des relevés d'observation. Le système de prévision numérique du temps ARW s'applique donc à des échéances allant au-delà de 3 jours à partir du moment de l'observation. On peut télécharger les données chaque jour sur le site : ftp://ftpprd.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/ 4.2. Données géographiques Modèle ARW nécessite des données de topographie, végétation, eau, type de sol. Toutes ces données sont disponibles à différentes résolutions, c’est-à-dire 1degré, 30, 10, 5 ou 2 min, et 30seconds. Des données globales sont disponibles à l'USGS (US Geological Survey), elles sont téléchargeables sur : http://www.mmm.ucar.edu/wrf/src/wps_files/geog.tar.gz Pour toutes les résolutions exceptées celle à 30 secondes, la base est constituée par une carte topographique en 2 dimensions (courbes de niveau). Les courbes de niveaux sont numérisées afin d'obtenir un fichier de points comprenant les paramètres topographiques suivants : longitude (X), latitude (Y), altitude (Z). 5. Déploiement des modules du modèle ARW 5.1. Module WPS Il y a essentiellement trois pas principaux à exécuter le Prétraitement WPS : • Définir un domaine du modèle et des domaines emboîtés avec « geogrid ». • Extraire des données météorologiques des ensembles de données GRIB pour la simulation en période avec « ungrib ». • Interpoler horizontalement des données météorologiques aux domaines du modèle avec « metgrid ». TRAN Viet Trung ‐ Filière francophone de l’Informatique  34
  • 35. Application du modèle de prévision météorologique WRF au Vietnam  Quand les simulations multiples doivent être dirigées pour les mêmes domaines, il est seulement nécessaire d'exécuter le premier pas une fois ; par la suite, les données seulement variables de temps comme les données météorologiques doivent être traitées pour chaque simulation en utilisant tous les deux : deuxième pas et troisième pas. Les détails de ces trois pas sont présentés ci-dessous.   Figure II-5 Processus de l’execution des programmes du WPS Pas 1 : Définir des domaines du modèle avec geogrid Les domaines sont définis dans la partie "geogrid" du fichier namelist.wps et, en plus, les paramètres dans la partie "share" doivent également être bien rédigés. Les champs de base à configurer sont: Dans la partie « share » du namelist.wps max_dom = 2, La valeur de ce champ spécifie le nombre total de domaines, en incluant le domaine parental et les domaines emboîtés dans la simulation. io_form_geogrid = 2, Ce champ signifie le format d'E/S du WRF API dans lequel les fichiers de domaine créés par le programme « geogrid » seront écrits. Les options possibles sont : 1 pour le format binaire; 2 pour le format NetCDF; 3 pour le format GRIB1. Quand l'option 1 est donnée, les fichiers de domaine auront un suffixe de .int; quand l'option 2 est donnée, les fichiers de domaine auront un suffixe de .nc; quand l'option 3 est donnée, les fichiers de domaine auront un suffixe de .gr1. La valeur implicite est 2 (le format NetCDF). opt_output_from_geogrid_path = './', TRAN Viet Trung ‐ Filière francophone de l’Informatique  35
  • 36. Application du modèle de prévision météorologique WRF au Vietnam  C’est une chaîne de caractères qui signifie le chemin, relatif ou absolu, à l'endroit d'où les fichiers de sortie de « geogrid » devraient être écrits et lus. La valeur implicite est ‘. / ’. Dans la partie « share » du namelist.wps Pour définir la projection de domaines, les champs suivants doivent être bien rédigé : − MAP_PROJ: ‘lambert’, ‘mercator’, ‘polar’, or ‘rotated_ll’ ;signifie le type de la projection − TRUELAT1: Première vraie latitude − TRUELAT2: Deuxième vraie latitude (seulement pour « Lambert conformal”) − STAND_LON: le méridien parallèle à l'axe y Définir la région couverte (les dimensions et l'endroit) par le domaine grossier en utilisant les champs suivants : − REF_LAT, REF_LON : le (lat, lon) d'un endroit connu dans le domaine (par défaut, le point au coeur du domaine) − DX, DY: la distance de Grille aux deux directions x et y (unité de mesure est dans mètres) − E_WE : Le nombre de points dans la direction est-ouest. − E_SN : Le nombre de points dans la direction nord-sud.   Figure II-6 Définir un domaine du modèle WRF TRAN Viet Trung ‐ Filière francophone de l’Informatique  36
  • 37. Application du modèle de prévision météorologique WRF au Vietnam  Après avoir bien configuré la partie « share » et la partie « geogrid », le programme « geogrid.exe » pourra être exécuté en façon parallèle ou non : . /geogrid.exe ./mpirun –n 4 ./geogrid.exe Ce message suivant serait affirmé si le programme « geogrid.exe » est bien exécuté : !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! ! Successful completion of geogrid. ! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! Pas 2 : Extraire des champs météorologiques des fichiers GRIB avec « ungrib ». Après avoir téléchargé des données météorologiques dans le format de GRIB, le premier pas dans l’extraction des champs au format intermédiaire implique de rédiger la partie « share » et « ungrib » du fichier namelist.wps - le même fichier qui a été rédigé pour définir les domaines de simulation. Les champs de base à configurer sont: Dans la partie « share » du namelist.wps start_date = '2006-08-16_12:00:00','2006-08-16_12:00:00', end_date = '2006-08-16_18:00:00','2006-08-16_12:00:00', Ces champs représentent deux listes de nombres entiers de MAX_DOM éléments qui spécifient la date de commencement et la date de fin au temps d'UTC de la simulation pour chaque domaine.  interval_seconds = 21600 Ce champ représente l’intervalle de secondes entre les fichiers d'entrée météorologiques variables du temps. Dans la partie « ungrid » du namelist.wps out_format = 'WPS', On pourrait définir le format des données intermédiaires à être écrites par « ungrib ». Le programme metgrid peut lire n'importe quels formats comme ‘WPS’, ‘SI’ et ‘MM5’. Après avoir modifié convenablement le fichier namelist.wps, un Vtable doit être fourni et les fichiers GRIB doivent être reliés (ou copiés) aux fichiers dont les noms sont attendus par « ungrib ». Par exemple, si les données GRIB sont du modèle GFS, cela peut être accompli par la commande suivante : TRAN Viet Trung ‐ Filière francophone de l’Informatique  37
  • 38. Application du modèle de prévision météorologique WRF au Vietnam  > ln -s ungrib/Variable_Tables/Vtable. GFS Vtable Pour simplifier le travail de relier les fichiers GRIB aux fichiers que le programme « ungrid.exe » attend, on pourra utiliser un script de commandes, link_grib.csh. Le script link_grib.csh prend une liste des fichiers GRIB comme les arguments de ligne d'instruction. Sur bkluster, les données GRIB ont été téléchargées au répertoire modelWRF/autoWRF/datas/gfs2008050412/, les fichiers sont reliés avec link_grib.csh par les commandes suivantes : >ls ~/modelWRF/autoWRF/datas/gfs2008050412/ -rw-r--r-- 1 trungtvk48 trungtvk48 14156270 May 4 23:42 gfs.t12z.pgrbf00.grib2 -rw-r--r-- 1 trungtvk48 trungtvk48 15921185 May 4 23:42 gfs.t12z.pgrbf03.grib2 -rw-r--r-- 1 trungtvk48 trungtvk48 15793049 May 4 23:42 gfs.t12z.pgrbf06.grib2 >link_grib.csh ~/modelWRF/autoWRF/datas/gfs2008050412/gfs.t12z.pgrbf * Après avoir rédigé le fichier namelist.wps et relié le fichier Vtable approprié et les fichiers GRIB, le programme « ungrib.exe » peut être exécuté pour produire des fichiers de données météorologiques au format intermédiaire choisi. 5.2. Module ARW Certes, Le modèle ARW supporte deux grandes classes de simulations correspondants au cas de données idéales ou au cas de données réelles. Pourtant, le système de prévision météorologique WRF au centre HPCC soit un système opérationnel, c’est la raison pour laquelle le modèle ARW déployé au centre HPCC utilise seulement les données réelles de sorties du système de prétraitement WPS. Comme le déploiement du module WPS, tout d’abord on doit configurer le fichier namelist.input pour bien exécuter le modèle ARW. Les paramètres de base à configurer sont: Dans la partie « time_control » du namelist.wps &time_control run_days = 0, run_hours = 72, run_minutes = 0, run_seconds = 0, start_year = 2008, 2000, 2000, start_month = 05, 01, 01, start_day = 04, 24, 24, TRAN Viet Trung ‐ Filière francophone de l’Informatique  38
  • 39. Application du modèle de prévision météorologique WRF au Vietnam  start_hour = 12, 12, 12, start_minute = 00, 00, 00, start_second = 00, 00, 00, end_year = 2008, 2000, 2000, end_month = 05, 01, 01, end_day = 07, 25, 25, end_hour = 12, 12, 12, end_minute = 00, 00, 00, end_second = 00, 00, 00, interval_seconds = 10800 Les parameters START_YEAR, START_MONTH, START_DAY, START_HOUR, END_YEAR, END_MONTH, END_DAY, END_HOUR, INTERVAL_SECONDS se recopient de namelist.wps du module WPS. run_hours = 72, Pour la prévision en 3 jours, ce champ a toujours la valeur 72 (heures). Dans la partie « domains » du namelist.wps &domains time_step = 108, time_step_fract_num = 0, time_step_fract_den = 1, max_dom = 1, s_we = 1, 1, 1, e_we = 61, 112, 94, s_sn = 1, 1, 1, e_sn = 112, 97, 91, s_vert = 1, 1, 1, e_vert = 28, 28, 28, num_metgrid_levels = 27 dx = 18000, 10000, 3333, dy = 18000, 10000, 3333, Cette partie se compose également des mêmes paramètres du fichier namelist.wps du WPS. Donc, il faut fixer les mêmes valeurs de chaque paramètre dans tous les deux fichiers. time_step = 108, TRAN Viet Trung ‐ Filière francophone de l’Informatique  39
  • 40. Application du modèle de prévision météorologique WRF au Vietnam  La valeur de ce paramètre était le pas de temps ‘en seconde’ pour l'intégration du temps (recommandé 6*dx en km pour un cas typique). Avec l’intervalle de la grille de calcul au Bkluster, dx=dy=18000, il faut mieux mettre « time_step=108 » num_metgrid_levels: = 27, Il signifie le nombre des niveaux verticaux de données d'arrivée. Comme le modèle utilise les données météorologiques du modèle global GFS, cette valeur de ce paramètre était toujours 27. Ce module se compose de deux programmes « real.exe » et « wrf.exe ». Le processus de déploiement du module ARW est comme ceci suivant :   Figure II-7 Processus de l’exécution des programmes du ARW 6. Conclusion Dans ce chapitre, on aborde précisément tous les problèmes qui concernent le déploiement du modèle WRF, y compris : la détermination du domaine à calcul sur les trois superordinateurs. Les résultats obtenus sont très importants puisque le modèle WRF déployé a bien produit les données de prévision météorologique. Pourtant, l’exécution du modèle est encore manuelle, il manque un système d’automatisation des tâches et puis, le résultat de sortie est plus spécialiste. Les utilisateurs ordinaires ont donc des difficultés à le comprendre. Les chapitres suivants se concentreront sur deux grands problèmes : • Rechercher sur la configuration d’exécution du modèle WRF le plus optimal sur chaque superordinateur. • Déployer un système professionnel qui pourra fournir directement les bulletins de météo chez les utilisateurs ordinaires. TRAN Viet Trung ‐ Filière francophone de l’Informatique  40
  • 41. Application du modèle de prévision météorologique WRF au Vietnam  CHAPITRE III Évaluation des expériences   1. Introduction Comme le modèle WRF est installé sur trois systèmes de calcul à haute performance : Bkluster, IBM eserver cluster 1350 et IBM eserver 1600, la question apparue sera de comment trouver de meilleures conditions pour l’exécution du système de prévision météorologique WRF. En plus, la performance de calcul de trois systèmes en particulier sur l’exécution du modèle WRF sera également évalués. Enfin, l'environnement le plus optimal est établi, les parties ci-dessous précisent ces expériences ainsi que les réalisations acquises. 2. Les expériences réalisées sur Bkluster Le programme « wrf.exe » est le plus important du système, le résultat et le temps d’exécution de ce module en plusieurs modes reflètent la performance du système ainsi que sa stabilité. Par conséquent, les critères d’évaluation ne concentrent que sur cette partie particulière du modèle. Méthode d’évaluation : • Exécuter le programme « wrf.exe » avec les données d’entrées différentes, en divers modes et le nombre de nœuds de calcul variant. • Utiliser 2 façons pour : - D’une part, on évalue le temps d’exécution du MM5 en chaque mode d’opération avec le nombre de processeurs variés. - D’autre part, on évalue le temps d’exécution en plusieurs modes avec le nombre de processeurs fixés. Cette évaluation s’est fait pendant 3 jours : 10, 11 et 12 mai 2008 et le temps moyen de calcul est arrondi selon l'unité de minute. Le domaine à calcul Vietnam1 est utilisé dans toutes les expériences. 2.1. Mode séquentiel Le programme wrf.exe est compilé par 2 compilateurs différents: pgf90 (Portland Group), ifort (Intel). On voit que le compilateur influence relativement le temps de calcul, si ifort est utilisé pour la compilation et l'exécution du programme wrf.exe, on économise environ 10% de temps par rapport à pgf90 pour une prévision météo. En effet, l’exactitude d'un programme compilé par ifort n'est égale qu'à 1/10 de celle du programme compilé par pgf90. Ce pourrait être la raison pour laquelle le compilateur de l'Intel (ifort) cause moins de temps d'opération que celui du Portland Group (pgf90). TRAN Viet Trung ‐ Filière francophone de l’Informatique  41
  • 42. Application du modèle de prévision météorologique WRF au Vietnam  Mode séquentiel 120 117 108 110 100 90 80 Mode séquentiel 70 60 50 pgi 7.0 Intel 10.1.015   Figure III-1 Mode séquentiel 2.2. Mode parallèle En mode parallèle, non seulement des compilateurs mais en plus beaucoup d'autres raisons influent sur le résultat du modèle. Précisément, ce sont la communication entre les processus, le nombre de processeurs participés, la bibliothèque de programmation par passages de messages (MPICH) et compilateurs. 90 78 80 70 60 60 57 49 50 mpich1.2.7p1 40 mpich2‐1.0.3 30 20 10 0 2processeurs/2noeuds 2processeurs/1noeuds   Figure III-2 Temps d'exécution influencé par MPICH et la communication Premièrement, pour évaluer l’influence de la communication entre les processus, on considère le cas où le programme wrf.exe est exécuté en utilisant 2 processeurs/ 2 nœuds et l’autre cas utilisant 2 processeurs/ 1 seul nœud. On voit que la TRAN Viet Trung ‐ Filière francophone de l’Informatique  42
  • 43. Application du modèle de prévision météorologique WRF au Vietnam  communication entre les processus /2 nœuds différents influence fortement sur le temps de calcul du programme wrf.exe par rapport à la communication interne sur 1 seul nœud. D’ailleurs, en ce qui concerne la bibliothèque de programmation par passages de messages (MPICH), l’influence de la communication dans MPICH 1 est plus forte de 25% que laquelle dans MPICH 2 de 16,6%. Deuxièmement, dans la figure, on voit également que le fait d’utiliser MPICH 2 gagne le bénéfice du temps en comparaison d’autre cas avec MPICH 1. Ceci montre que le programme wrf.exe supporte mieux la bibliothèque de programmation par passages de messages MPICH 2. Si l’on peut faire un comparaison entre le modèle WRF et le modèle MM5 que MPICH 1 convient, on sait bien que le modèle WRF est une évolution et un successeur du modèle MM5, c’est la raison pour laquelle WRF supporte mieux la nouvelle version de MPICH. Ci_après, l'évaluation concentre sur la quantité de processeurs utilisés afin de trouver le plus meilleur cas pour l’exécution du modèle WRF sur Bkluster. Dans cette évaluation, la bibliothèque de programmation par passages de messages MPICH 2 et le compilateur pgf90 sont choisis.   Figure III-3 L’influence de la quantité de processeurs On peut voir que le temps moyen est linéaire et il atteint le minimum quand le nombre de processeurs est égal à 4. Malheuresement, le nombre de processeurs ne peut pas augmenter pour pourvoir trouver le plus meilleur résultat, faute de nœud à calcul. C’est pourquoi, j’utilise actuellement le domaine Vietnam1 comme le domaine dans ces expériences pour l’exécution du modèle WRF sur Bkluster. Le programme TRAN Viet Trung ‐ Filière francophone de l’Informatique  43
  • 44. Application du modèle de prévision météorologique WRF au Vietnam  « wrf.exe » est toujours exécuté en mode parallel sur 4 processeurs avec le temps moyen environ 40 minutes. 3. Comparaison de la performance entre trois systèmes La dernière évaluation que je voudrais aborder dans mon mémoire de fin d’études est la comparaison du temps de calcul du programme « wrf.exe » entre trois systèmes qui ont bien déployé le modèle WRF. Pour garder cette évaluation objectif, on utilise le même domaine à calcul DNA_nested (figure II-3) pour exécuter le modèle WRF. La configuration tout optimale de chaque système est déterminé en utilisant les mêmes expériences sur Bkluster. Pourtant, l’expérience est fait une seule fois sur IBM AIX eserver cluster 1600, car le système était en panne depuis le mois de mars 2008. 2 processeurs 4 processeurs Temps moyen (minutes) 108 56 Tableau III-1Temps moyen influencé par le nombre de processeurs sur Bkluster 4 processeurs 8 processeurs 16 processeurs Temps moyen (minutes) 72 50 60 Tableau III-2Temps moyen influencé par le nombre de processeurs sur IBM 1350 8 processeurs Temps moyen (minutes) 26 Tableau III-3 Temps moyen influencé par 8 processeurs sur IBM 1600 La configuration la plus optimale : • BKluster - 4 Processeurs/2 nœuds - MPICH 2 – version 1.0.3 - Compilateur : pgf90 (Porlan Group) 7.0 • IBM eserver 1350 - 8 Processeurs/2 nœuds - MPICH 2 – version 1.0.3 - Compilateur de fortran : pgf90 (Porlan Group) 7.0 TRAN Viet Trung ‐ Filière francophone de l’Informatique  44
  • 45. Application du modèle de prévision météorologique WRF au Vietnam  • IBM AIX eserver 1600 - 8 Processeurs/ 1 nœuds - la bibliothèque de programmation par passages de messages (MPI) du vendeur IBM - Compilateur de fortran du vendeur IBM   Figure III-4 Temps moyen au cas optimal de trois systèmes Grâce aux informations de la figure III-4, on pourrait apercevoir que IBM AIX eserver 1600 / 8 processeurs / 1 nœud ne perd qu’environs 26 minutes pour exécuter le modèle WRF (domaine DNA_nested). Au contraire, avec le même nombre de processeurs, IBM eserver 1350 / 8 processeurs / 2 nœuds a eu besoin du temps double : 50 minutes à exécuter. C’était illogique puisqu’on ne bénéficie pas beaucoup de performance des 8 processeurs par rapport à Bbluster avec 4 processeurs. Pour comprendre mieux la situation, on fait la comparaison du temps moyen nécessaire pour exécuter le modèle WRF (domaine DNA_nested) entre Bkluster et IBM eserver 1350 ci-après. Le nombre de processeurs soit le même 4. TRAN Viet Trung ‐ Filière francophone de l’Informatique  45
  • 46. Application du modèle de prévision météorologique WRF au Vietnam  80 72 56 60 40 20 Temps moyen 0 Bkluster / 4  IBM AIX 1350 / 4  processeurs processeurs   Figure III-5 Comparaison entre Bkluster et IBM 1350 Sur la vue globale, la performance de 1 nœud (4 processeurs) de l’IBM eserver 1350 soit plus haute que laquelle de Bkluster. Mais à cause d’une panne du système, le modèle WRF et aussi les données d’entrée (sortie) du modèle sont obligées à installer sur l’équipement de stockage qui attache au système par une ligne Ethernet (100 Mbps) par rapport à GEthernet. C’est la raison pour laquelle le système ne peut pas exploiter sa performance totale. 4. Conclusion Dans ce chapitre, on a fait des expériences afin de trouver la configuration optimale de l’exécution du modèle WRF sur tous les trois systèmes. On a aussi quelques comparaisons entre eux. Certes, les expériences exhaustives ne peuvent pas être relevées, en raison des difficultés objectives. Mais, j’ai obtenu des connaissances précieuses de la construction en système à haute performance. Tous les composants du système influencent fortement la performance totale : Un système attendrait sa performance la plus optimale si on garde l’unité de tous les composants.   TRAN Viet Trung ‐ Filière francophone de l’Informatique  46
  • 47. Application du modèle de prévision météorologique WRF au Vietnam  CHAPITRE IV Application du modèle WRF au Centre HPC   1. Introduction Comme déjà mentionné dans les chapitres précédents, les résultats de prévision météorologique du modèle pourraient être visualisés en utilisant des outils graphiques (NCAR, RIP4, …) . Parmi lesquelles, nous avons choisi d’installer Graphiques NCAR comme le programme pricipal pour nous donner des images météorologiques de qualité. Image  NCL script météorologique   Fichier au  format netCDF   Figure IV-1 Produire des images météorologiques Certes, les images météorologiques sont bien utiles pour que des chercheurs puissent les utiliser pour relever des prévisions météorologiques de l’état de météo général comme les prévisions de tempêtes, de saisons, de phénormènes spécialisés. Mais, chez les utilisateurs ordinaires, les images météoroligiques sont toujours difficile à comprendre puisqu’elles représentent beaucoup d’informations spécialisées. D’ailleurs, en ce qui concerne la météo, la question posée est toujours plus simple comme « est-ce qu’il fera beau demain ? Demain, il fera chaud ou non ? Quelle est la température aujourd’hui ? ». Alors, mon mémoire de fin d’étude se compose d’une partie importante qui a pour but de montrer une solution acceptable pour exploiter les résultats de prévision du modèle WRF de façon facile chez les utilisateurs ordinaires. TRAN Viet Trung ‐ Filière francophone de l’Informatique  47
  • 48. Application du modèle de prévision météorologique WRF au Vietnam  2. Structure du Système Figure IV-2 Structure du système déployé au Centre HPC Comme montré sur la figure, le système que j’ai déjà bâti se compose des composants ci-dessous : • Modèle WRF executé sur la grappe bkluster, qui joue le rôle de produire les données météorologiques pour le système. • Le programme qui contrôle le modèle WRF pour l’exécuter automatiquement jour après jour. Dans la situation actuelle, le modèle WRF est exécuté une fois par jour à 23 heures trente, comme la ligne de connection à l’Internet et les ressources de calcul n’étaient pas suffisantes au centre HPC. • Un module de traitement des données sorties du modèle pour relever les champs météorologiques fondamentaux de toutes les villes vietnamiennes et les insérer à la base de données. Ce module est programmé en utilisant le langage NCL et le langage JAVA. • Le module MeteoAPI a pour but de donner l’interface de programmation(API) qui se situe entre la base de données et les applications de représentation (le portail d’information de météo, le google gadget IPHmétéo). Utiliser le module MeteoAPI est le mieux pour séparer le structure de la base de données avec les applications de représentation. D’ailleurs, les google gadgets n’étaient pas capables de se connecter directement à la base de données. • Les applications de représentation : Ceux-ci peuvent être de n’import quel logiciel qui permet de publier les bulletins de météo en utilisant les données fournies par MeteoAPI. J’ai choisi de créer le Google gadget IPHmétéo puisqu’il pourrait avoir des avantages par rapport aux autres, selon moi. TRAN Viet Trung ‐ Filière francophone de l’Informatique  48