Réseaux & Applications Internet: Technologies & Systèmes Paulin CHOUDJA
Agenda Technologies Poste de travail et serveurs Stockage Virtualisation des Systèmes La Grille de Calcul Les Grandes révolutions à venir
Les Technologies foisonnent Des mémoires « vives » de plus en plus rapides et de moins en moins chères La « clef » USB a provoqué la disparition de la disquette Les disques, sans alternative Le format diminue de 3,5 à 2,5 pouces, les capacités augmentent (500 GO) Le record pour Toshiba – 5 GO à 0,85 pouces L’enregistrement perpendiculaire : 40 GO sur 1 pouce Blue-Ray face à HD-DVD Le laser bleu : 80 Go en SF/SD contre 4,7 Go (DVD) et 12 GO en HD-DVD Les écrans à technologie OLED Organic Light Emitting Diode Moins consommateurs d’énergie, sans rétro-éclairage Plus légers, plus fins, le verre est remplacé par un polymère Peuvent être transparents, ou souples Meilleur contraste
Technologies:  Les  Bus et Interfaces de plus en plus rapides Bus interne Après PCI, PCI-X,  PCI-Express  chez Intel (2,5Gbps) et  Hypertransport  (AMD, Apple), Bus externe USB  et  Firewire  (IEEE1394),  Wireless USB ( Ultra Wide Band – 802.15) Interfaces disques Pour les serveurs, le  SCSI  (Small Computer System Interface) a apporté un bus parallèle bi-directionnel sur 8 bits, des unités connectées en chaîne sur un contrôleur et un débit élevé (jusqu’à 320 Mo/s), en compétition avec le  FC  (Fibre Channel) à 1-2 GO/s, mais très concurrencé par le  SAS  (Serial Attached SCSI) à 3 GO/s et des temps d’accès de 4 à 7 ms . Pour les desktops, après l’IDE (Intelligent Drive Electronic) ou ATA (Advanced Technology Attachment) le  Serial ATA  dont les performances approchent le SCSI (150 Mo/s, bientôt 300 Mo/s et des temps d’accès de 8 à 12 ms) pour un coût plus faible Pour l’interconnexion des serveurs, clusters, baies de disque Le  Gigabit Ethernet  (1 à 10G) est challengé par  Infiniband  (2,5 à 30G) technique qui ne charge pas le processeur, sur Fibre ou cuivre.
Quel Poste de Travail / PC? Poursuite de l’exponentiation de la puissance Intégration de la connexion « sans-fil » à haut débit (Auto-détection bluetooth, GPRS/EDGE, WiFi et GPS) et de la sécurité Développement des capacités multimédia A terme, disparition du disque, remplacé par les SSD (Solid State Disk – disques Flash) précédé par les « Hybrides » (avec cache disque) Intégration progressive de capacités nouvelles : « encre » numérique, sécurité, synthèse vocale et reconnaissance de la parole Des facteurs de forme de plus en plus réduits Omniprésence du portable PDA laisse la place au Smartphone?
Quel Futur pour les Serveur? Les nouvelles applications induisent de nouveaux besoins en termes de puissance pure flexibilité évolutivité disponibilité d’administrabilité Contexte général : vers la consolidation des serveurs après celle du stockage (SAN, NAS) Enjeu technologique et effet « domino » : vers la fin des circuits propriétaires ?
Optimisation des Serveurs Recherche de la performance pure et de l’adaptation aux demandes « de crête » inhérentes à Internet Disponibilité et recherche du maintien de la continuité de service Pour rationaliser les machines disponibles tout en les laissant dans leur environnement natif Flexibilité d’adaptation grâce aux solutions de reconfiguration Recherche d’une plus grande assurance de compatibilité Pour rationaliser et obtenir un meilleur usage des ressources (10 à 15 % pour Windows) Coûts d’administration moins élevés Meilleure flexibilité pour "coller" aux besoins réels
Consolidation des Serveurs
Scale In / Multiprocessing? Différentes techniques de multi-processing  SMP  (multiprocesseur symétrique) : plusieurs processeurs identiques gérés par un seul OS, qui se partagent une mémoire commune, ont un accès égal aux E/S et sont connectés via un backbone large bande rapide. Variante  Numa  : chaque processeur dispose de sa propre mémoire pour régler le problème de la congestion des accès bus (backbone) et accède à une mémoire globale. Hybride Numa / SMP ( Crossbar ) : plusieurs processeurs se partagent la même mémoire, mais avec deux niveaux de cache en interconnexion très rapide. Problématique du retard d’adaptation des OS et liée aux « blades » (poids, dissipation calorifique)
Scale Out/Clustering Répartition de charge Clusters et architecture sécurisée Deux orientations des clusters: Recherche de performance  : les tâches sont découpées en sous-tâches et attribuées aux noeuds disponibles Plus de disponibilité  : pour rendre le système insensible aux pannes
Gestion du Stockage
Stockage: Equipements SAN & NAS SAN A l’origine un réseau spécialisé « Fibre Channel » (FC) à 1, 2 ou 4 Gbps (demain 10 Gbps), des commutateurs, des cartes dédiées (HBA – Host Bus Adapter), un protocole adapté FCIP mais sur distances courtes (40 Km) Mais forte concurrence annoncée de Infiniband (de 30 à 120 Gbps sans charge des processeurs) NAS utilise un réseau Ethernet IP (1 à 10 Gbps) iSCSI, nouveau protocole standard permettant  de transporter des blocs SCSI dans des paquets IP, de diminuer les coûts en remplaçant FC par Ethernet dans les SAN , et de déployer des disques S-ATA bon marché de relier des baies distantes via IP Mais l’offre reste encore propriétaire par certains aspects SNIA (Storage Networking Industry Association) pour des standards communs - SMI-S (Storage Management Initiative Specification) SAN (EMC, HP, IBM,…), NAS (NettApp, ..), équipements (Brocade, McData, ..), logiciels (EMC, CA, Veritas,..) On commence à parler de stockage « en grille » (Active Circle)
Stockage: Architecture des SANs
Stockage: Quelques enjeux Surveillance et gestion proactive Les agents, installés sur les matériels, détectent la saturation des espaces disques, la croissance excessive d’un fichier, la chute de performance d’une unité Les analyses historiques permettent la planification des besoins Automatisation, par scripts, d’actions préventives ou correctives : effacement de fichiers inutiles, ajout d’une unité, défragmentation, archivage anticipé Sauvegardes pilotées par règles de gestion (Seuil de remplissage, fréquence d'utilisation, heures, dates, temps d'accès maximal) Sauvegardes centralisées des PC et des serveurs Compression, sauvegarde différentielle, snapshot, une seule recopie des fichiers identiques sur plusieurs PC Réplication à distance - synchrone ou asynchrone - sur lignes haute vitesse (FO-DWDM) vers des SSP (Service Storage Providers) L’explosion des données met au premier plan la sauvegarde en continu (CDP : Continuous Data Protection) Mais des effets de bord à pallier : WAFS (Wide Area File Service) - Gestion de fichiers de proximité pour pallier les inconvénients de la centralisation Archivage: Faut-il chiffrer les données ?
Administration du Stockage: Defis Virtualisation du stockage Agrégation dans un pool logique d’espaces issus de baies différentes. Cette mutualisation opère de plus en plus au coeur des réseaux de stockage. La surallocation virtuelle d’un espace disque permet de faire croire aux applications qu’elles disposent de plus de ressources qu’elles n’en ont en réalité.Ce qui n’est pas sans rappeler la mémoire virtuelle des années 70. SRM (Storage Resource Management) Administration en termes d’espace, de pools de stockage, de prévision des consommations, de coûts ILM (Information Lifecycle Management) Gérer le cycle de vie du document et y associer le mode de stockage le plus adapté HSM (Hiérarchisation des données) Selon Horizon Information Strategies, 90% des informations ne sont plus utilisées après 90 jours. D’où l’idée de les migrer vers des supports moins performants et plus économiques : des SCSI ou FC vers des bandes. Il existe maintenant des solutions intermédiaires (ATA bon marché).
La Virtualisation des Systèmes Pourquoi virtualiser ? La consolidation induit la virtualisation Prérequis à l’informatique à la demande Découplage des applications des ressources de traitement et éloignement des couches matérielles dont l’évolution, voire le remplacement ne doivent pas concerner les applications Aujourd’hui la virtualisation concerne tous les niveaux de système : le  microprocesseur, les machines mono et multi-processeurs, les lames, les postes de travail (sécurité). Fait l’objet de nombreux développements Matériel Vanderpool d’Intel rebaptisé  VT  (Virtualisation technology) et  Pacifica  d’AMD Adaptation des processeurs à la virtualisation en facilitant le partitionnement des ressources et la sécurisation de ces partitions Systèmes de virtualisation des OS : VMWare GSX et ESX Windows 2005 Virtual Server (ex-Connectix) Mais aussi Katana, Virtuozzo, et Xen (Projet Open Source)
Mécanisme de Virtualisation 1. Le serveur est découpé en machines virtuelles Le logiciel de virtualisation divise les ressources physiques en environnements séparés. Il affecte à chaque machine de la mémoire , un espace disque, des tranches de temps CPU. Le nombre de machines virtuelles dépend de la solution retenue. 2. La couche de virtualisation s’appuie généralement (mais ce n’est pas une obligation) sur un OS hôte (Windows 2003 pour Virtual Server, Windows 2000/2003, Linux pour GSX Server), ou sans OS hôte (Hypervision) – VMWare ESX Server 4. On peut déplacer  une machine virtuelle d’un socle physique à un autre sans interrompre le service :  V/Motion de VMWare 3. Une machine virtuelle peut fonctionner en mode SMP. Chez VMWare, l’option Virtual SMP pour ESX Server permet à 2 processeurs de se partager la charge de travail. Ce n’est pas encore le cas de Microsoft.
Architecture Système du Futur
GLOBUS: La Grille de Calcul Globus : projet open source Toolkit 3.0 présenté au début 2003 : boîte à outils pour la mise en place d’une grille opérationnelle ou développer des composants de grille. Compatible OGSA (Open Global Grid Architecture) , standard défini par le GGF (Global Grid Forum) Fondé sur XML et les grid services avec des fonctions de discovery, de création dynamique, de gestion du cycle de vie, de notification, d’administration Des produits proposés par Sun, IBM,.. En plus de Globus, se sont institués le Global Grid Forum (MSFT, IBM, HP, Sun, Platform) et l’EGA (Enterprise Grid Alliance) Problèmes :  sécurité, parallélisation des traitements, charge système très lourde pour administrer et faire fonctionner la grille
Les Grandes Révolutions à Venir Nanotubes Mémoire atomique Encre électronique Réseau radio SPOT E-Textiles Carte perforée atomique TBSI Pile à combustible Mems ……… ..

Technologies & Systèmes

  • 1.
    Réseaux & ApplicationsInternet: Technologies & Systèmes Paulin CHOUDJA
  • 2.
    Agenda Technologies Postede travail et serveurs Stockage Virtualisation des Systèmes La Grille de Calcul Les Grandes révolutions à venir
  • 3.
    Les Technologies foisonnentDes mémoires « vives » de plus en plus rapides et de moins en moins chères La « clef » USB a provoqué la disparition de la disquette Les disques, sans alternative Le format diminue de 3,5 à 2,5 pouces, les capacités augmentent (500 GO) Le record pour Toshiba – 5 GO à 0,85 pouces L’enregistrement perpendiculaire : 40 GO sur 1 pouce Blue-Ray face à HD-DVD Le laser bleu : 80 Go en SF/SD contre 4,7 Go (DVD) et 12 GO en HD-DVD Les écrans à technologie OLED Organic Light Emitting Diode Moins consommateurs d’énergie, sans rétro-éclairage Plus légers, plus fins, le verre est remplacé par un polymère Peuvent être transparents, ou souples Meilleur contraste
  • 4.
    Technologies: Les Bus et Interfaces de plus en plus rapides Bus interne Après PCI, PCI-X, PCI-Express chez Intel (2,5Gbps) et Hypertransport (AMD, Apple), Bus externe USB et Firewire (IEEE1394), Wireless USB ( Ultra Wide Band – 802.15) Interfaces disques Pour les serveurs, le SCSI (Small Computer System Interface) a apporté un bus parallèle bi-directionnel sur 8 bits, des unités connectées en chaîne sur un contrôleur et un débit élevé (jusqu’à 320 Mo/s), en compétition avec le FC (Fibre Channel) à 1-2 GO/s, mais très concurrencé par le SAS (Serial Attached SCSI) à 3 GO/s et des temps d’accès de 4 à 7 ms . Pour les desktops, après l’IDE (Intelligent Drive Electronic) ou ATA (Advanced Technology Attachment) le Serial ATA dont les performances approchent le SCSI (150 Mo/s, bientôt 300 Mo/s et des temps d’accès de 8 à 12 ms) pour un coût plus faible Pour l’interconnexion des serveurs, clusters, baies de disque Le Gigabit Ethernet (1 à 10G) est challengé par Infiniband (2,5 à 30G) technique qui ne charge pas le processeur, sur Fibre ou cuivre.
  • 5.
    Quel Poste deTravail / PC? Poursuite de l’exponentiation de la puissance Intégration de la connexion « sans-fil » à haut débit (Auto-détection bluetooth, GPRS/EDGE, WiFi et GPS) et de la sécurité Développement des capacités multimédia A terme, disparition du disque, remplacé par les SSD (Solid State Disk – disques Flash) précédé par les « Hybrides » (avec cache disque) Intégration progressive de capacités nouvelles : « encre » numérique, sécurité, synthèse vocale et reconnaissance de la parole Des facteurs de forme de plus en plus réduits Omniprésence du portable PDA laisse la place au Smartphone?
  • 6.
    Quel Futur pourles Serveur? Les nouvelles applications induisent de nouveaux besoins en termes de puissance pure flexibilité évolutivité disponibilité d’administrabilité Contexte général : vers la consolidation des serveurs après celle du stockage (SAN, NAS) Enjeu technologique et effet « domino » : vers la fin des circuits propriétaires ?
  • 7.
    Optimisation des ServeursRecherche de la performance pure et de l’adaptation aux demandes « de crête » inhérentes à Internet Disponibilité et recherche du maintien de la continuité de service Pour rationaliser les machines disponibles tout en les laissant dans leur environnement natif Flexibilité d’adaptation grâce aux solutions de reconfiguration Recherche d’une plus grande assurance de compatibilité Pour rationaliser et obtenir un meilleur usage des ressources (10 à 15 % pour Windows) Coûts d’administration moins élevés Meilleure flexibilité pour "coller" aux besoins réels
  • 8.
  • 9.
    Scale In /Multiprocessing? Différentes techniques de multi-processing SMP (multiprocesseur symétrique) : plusieurs processeurs identiques gérés par un seul OS, qui se partagent une mémoire commune, ont un accès égal aux E/S et sont connectés via un backbone large bande rapide. Variante Numa : chaque processeur dispose de sa propre mémoire pour régler le problème de la congestion des accès bus (backbone) et accède à une mémoire globale. Hybride Numa / SMP ( Crossbar ) : plusieurs processeurs se partagent la même mémoire, mais avec deux niveaux de cache en interconnexion très rapide. Problématique du retard d’adaptation des OS et liée aux « blades » (poids, dissipation calorifique)
  • 10.
    Scale Out/Clustering Répartitionde charge Clusters et architecture sécurisée Deux orientations des clusters: Recherche de performance : les tâches sont découpées en sous-tâches et attribuées aux noeuds disponibles Plus de disponibilité : pour rendre le système insensible aux pannes
  • 11.
  • 12.
    Stockage: Equipements SAN& NAS SAN A l’origine un réseau spécialisé « Fibre Channel » (FC) à 1, 2 ou 4 Gbps (demain 10 Gbps), des commutateurs, des cartes dédiées (HBA – Host Bus Adapter), un protocole adapté FCIP mais sur distances courtes (40 Km) Mais forte concurrence annoncée de Infiniband (de 30 à 120 Gbps sans charge des processeurs) NAS utilise un réseau Ethernet IP (1 à 10 Gbps) iSCSI, nouveau protocole standard permettant de transporter des blocs SCSI dans des paquets IP, de diminuer les coûts en remplaçant FC par Ethernet dans les SAN , et de déployer des disques S-ATA bon marché de relier des baies distantes via IP Mais l’offre reste encore propriétaire par certains aspects SNIA (Storage Networking Industry Association) pour des standards communs - SMI-S (Storage Management Initiative Specification) SAN (EMC, HP, IBM,…), NAS (NettApp, ..), équipements (Brocade, McData, ..), logiciels (EMC, CA, Veritas,..) On commence à parler de stockage « en grille » (Active Circle)
  • 13.
  • 14.
    Stockage: Quelques enjeuxSurveillance et gestion proactive Les agents, installés sur les matériels, détectent la saturation des espaces disques, la croissance excessive d’un fichier, la chute de performance d’une unité Les analyses historiques permettent la planification des besoins Automatisation, par scripts, d’actions préventives ou correctives : effacement de fichiers inutiles, ajout d’une unité, défragmentation, archivage anticipé Sauvegardes pilotées par règles de gestion (Seuil de remplissage, fréquence d'utilisation, heures, dates, temps d'accès maximal) Sauvegardes centralisées des PC et des serveurs Compression, sauvegarde différentielle, snapshot, une seule recopie des fichiers identiques sur plusieurs PC Réplication à distance - synchrone ou asynchrone - sur lignes haute vitesse (FO-DWDM) vers des SSP (Service Storage Providers) L’explosion des données met au premier plan la sauvegarde en continu (CDP : Continuous Data Protection) Mais des effets de bord à pallier : WAFS (Wide Area File Service) - Gestion de fichiers de proximité pour pallier les inconvénients de la centralisation Archivage: Faut-il chiffrer les données ?
  • 15.
    Administration du Stockage:Defis Virtualisation du stockage Agrégation dans un pool logique d’espaces issus de baies différentes. Cette mutualisation opère de plus en plus au coeur des réseaux de stockage. La surallocation virtuelle d’un espace disque permet de faire croire aux applications qu’elles disposent de plus de ressources qu’elles n’en ont en réalité.Ce qui n’est pas sans rappeler la mémoire virtuelle des années 70. SRM (Storage Resource Management) Administration en termes d’espace, de pools de stockage, de prévision des consommations, de coûts ILM (Information Lifecycle Management) Gérer le cycle de vie du document et y associer le mode de stockage le plus adapté HSM (Hiérarchisation des données) Selon Horizon Information Strategies, 90% des informations ne sont plus utilisées après 90 jours. D’où l’idée de les migrer vers des supports moins performants et plus économiques : des SCSI ou FC vers des bandes. Il existe maintenant des solutions intermédiaires (ATA bon marché).
  • 16.
    La Virtualisation desSystèmes Pourquoi virtualiser ? La consolidation induit la virtualisation Prérequis à l’informatique à la demande Découplage des applications des ressources de traitement et éloignement des couches matérielles dont l’évolution, voire le remplacement ne doivent pas concerner les applications Aujourd’hui la virtualisation concerne tous les niveaux de système : le microprocesseur, les machines mono et multi-processeurs, les lames, les postes de travail (sécurité). Fait l’objet de nombreux développements Matériel Vanderpool d’Intel rebaptisé VT (Virtualisation technology) et Pacifica d’AMD Adaptation des processeurs à la virtualisation en facilitant le partitionnement des ressources et la sécurisation de ces partitions Systèmes de virtualisation des OS : VMWare GSX et ESX Windows 2005 Virtual Server (ex-Connectix) Mais aussi Katana, Virtuozzo, et Xen (Projet Open Source)
  • 17.
    Mécanisme de Virtualisation1. Le serveur est découpé en machines virtuelles Le logiciel de virtualisation divise les ressources physiques en environnements séparés. Il affecte à chaque machine de la mémoire , un espace disque, des tranches de temps CPU. Le nombre de machines virtuelles dépend de la solution retenue. 2. La couche de virtualisation s’appuie généralement (mais ce n’est pas une obligation) sur un OS hôte (Windows 2003 pour Virtual Server, Windows 2000/2003, Linux pour GSX Server), ou sans OS hôte (Hypervision) – VMWare ESX Server 4. On peut déplacer une machine virtuelle d’un socle physique à un autre sans interrompre le service : V/Motion de VMWare 3. Une machine virtuelle peut fonctionner en mode SMP. Chez VMWare, l’option Virtual SMP pour ESX Server permet à 2 processeurs de se partager la charge de travail. Ce n’est pas encore le cas de Microsoft.
  • 18.
  • 19.
    GLOBUS: La Grillede Calcul Globus : projet open source Toolkit 3.0 présenté au début 2003 : boîte à outils pour la mise en place d’une grille opérationnelle ou développer des composants de grille. Compatible OGSA (Open Global Grid Architecture) , standard défini par le GGF (Global Grid Forum) Fondé sur XML et les grid services avec des fonctions de discovery, de création dynamique, de gestion du cycle de vie, de notification, d’administration Des produits proposés par Sun, IBM,.. En plus de Globus, se sont institués le Global Grid Forum (MSFT, IBM, HP, Sun, Platform) et l’EGA (Enterprise Grid Alliance) Problèmes : sécurité, parallélisation des traitements, charge système très lourde pour administrer et faire fonctionner la grille
  • 20.
    Les Grandes Révolutionsà Venir Nanotubes Mémoire atomique Encre électronique Réseau radio SPOT E-Textiles Carte perforée atomique TBSI Pile à combustible Mems ……… ..