Comment utiliser Hyper-V, System Center et un Metro-Cluster Netapp pour créer une architecture redondante sur deux Datacenters avec un PRA instantané (temps de reprise d'activité < 1 seconde).
Introduction au Cloud computing: principes, modèles et enjeux.
Le lecteur pourra découvrir l'architecture de référence du Cloud computing ainsi que des informations succinctes sur l'état de l'art et du marché.
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Ce support présente le Cloud Computing et permet de répondre à plusieurs questions :
Quelle est l’origine du Cloud Computing, quelles sont ses racines dans l'histoire du marché IT ?
Quelle est la promesse apportée par le Cloud, les bénéfices associés ?
Qu'entends t-on par Cloud Computing, son modèle technique (IaaS, PaaS, SaaS), son modèle organisationnel, ses critères d'éligibilité ?
Le support est complété par les interrogations persistantes des entreprises face au phénomène, les freins et les leviers identifiés par les DSI, et une étude de cas du gouvernement fédéral américain.
Le support a été élaboré en Juin 2011 puis réactualisé en 2014. Les principaux points développés restent encore valable aujourd'hui.
Valtech - Cloud computing - Infrastructure as a ServiceValtech
Après le mainframe, le réseau, l'ordinateur personnel ou Internet, le cloud computing s'impose depuis plusieurs années comme la nouvelle avancée technologique dans le domaine de l'informatique d'entreprise. Comme toute évolution majeure, cela entraine une mutation des habitudes, autant pour l'exploitant que pour le développeur.
En trois démonstrations, nous vous proposons d'assister au déploiement d'une application réelle dans le cloud, public ou hybride, ou d'avoir un aperçu des possibilités offertes par le cloud dans le cadre d'un projet informatique.
Hervé Desaunois, Valtech
herve.desaunois@valtech.fr
Pierre Chaussalet, Valtech
pierre.chaussalet@valtech.fr
L’objectif de ce livre blanc est de partager les fondamentaux du Cloud Computing afin de s’éloigner des préjugés et des visions inexactes de ce nouveau paradigme de l’informatique.
Pour cela, en plus de définitions objectives, nous présenterons les impacts de ce dernier sur les entreprises et les organisations, et surtout sur les hommes.
Cloud Hybride, le meilleur des deux mondes ? Selon plusieurs études menées par le cabinet McKinsey & Company, les problèmes de sécurité des infrastructures en environnement Cloud public ne doivent plus être un frein à son adoption. D’après les travaux réalisés, la plupart des objections soulevées sont pour la plupart exagérées, voire obsolètes, face aux progrès des fournisseurs de solutions Cloud public notamment sur la conformité ou encore l’authentification. Et si le Cloud privé peut constituer une première étape naturelle pour l’entreprise, c’est sans doute le Cloud hybride qu’il trouvera le plus de flexibilité et de réduction des coûts. Profiter de ressources virtuellement illimités pour répondre à des pics ponctuels, rationaliser son PRA ou encore simplifier les échanges avec les entités externes ne sont que quelque uns des scénarios que nous allons détailler dans cette session.
Cloud prive cloud public pourquoi choisir tech days 2012 rdiJulien Lesaicherre
Cloud Hybride, le meilleur des deux mondes ? Selon plusieurs études menées par le cabinet McKinsey & Company, les problèmes de sécurité des infrastructures en environnement Cloud public ne doivent plus être un frein à son adoption. D'après les travaux réalisés, la plupart des objections soulevées sont pour la plupart exagérées, voire obsolètes, face aux progrès des fournisseurs de solutions Cloud public notamment sur la conformité ou encore l'authentification. Et si le Cloud privé peut constituer une première étape naturelle pour l'entreprise, c'est sans doute le Cloud hybride qu'il trouvera le plus de flexibilité et de réduction des coûts. Profiter de ressources virtuellement illimités pour répondre à des pics ponctuels, rationaliser son PRA ou encore simplifier les échanges avec les entités externes ne sont que quelque uns des scénarios que nous allons détailler dans cette session
Comment utiliser Hyper-V, System Center et un Metro-Cluster Netapp pour créer une architecture redondante sur deux Datacenters avec un PRA instantané (temps de reprise d'activité < 1 seconde).
Introduction au Cloud computing: principes, modèles et enjeux.
Le lecteur pourra découvrir l'architecture de référence du Cloud computing ainsi que des informations succinctes sur l'état de l'art et du marché.
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Ce support présente le Cloud Computing et permet de répondre à plusieurs questions :
Quelle est l’origine du Cloud Computing, quelles sont ses racines dans l'histoire du marché IT ?
Quelle est la promesse apportée par le Cloud, les bénéfices associés ?
Qu'entends t-on par Cloud Computing, son modèle technique (IaaS, PaaS, SaaS), son modèle organisationnel, ses critères d'éligibilité ?
Le support est complété par les interrogations persistantes des entreprises face au phénomène, les freins et les leviers identifiés par les DSI, et une étude de cas du gouvernement fédéral américain.
Le support a été élaboré en Juin 2011 puis réactualisé en 2014. Les principaux points développés restent encore valable aujourd'hui.
Valtech - Cloud computing - Infrastructure as a ServiceValtech
Après le mainframe, le réseau, l'ordinateur personnel ou Internet, le cloud computing s'impose depuis plusieurs années comme la nouvelle avancée technologique dans le domaine de l'informatique d'entreprise. Comme toute évolution majeure, cela entraine une mutation des habitudes, autant pour l'exploitant que pour le développeur.
En trois démonstrations, nous vous proposons d'assister au déploiement d'une application réelle dans le cloud, public ou hybride, ou d'avoir un aperçu des possibilités offertes par le cloud dans le cadre d'un projet informatique.
Hervé Desaunois, Valtech
herve.desaunois@valtech.fr
Pierre Chaussalet, Valtech
pierre.chaussalet@valtech.fr
L’objectif de ce livre blanc est de partager les fondamentaux du Cloud Computing afin de s’éloigner des préjugés et des visions inexactes de ce nouveau paradigme de l’informatique.
Pour cela, en plus de définitions objectives, nous présenterons les impacts de ce dernier sur les entreprises et les organisations, et surtout sur les hommes.
Cloud Hybride, le meilleur des deux mondes ? Selon plusieurs études menées par le cabinet McKinsey & Company, les problèmes de sécurité des infrastructures en environnement Cloud public ne doivent plus être un frein à son adoption. D’après les travaux réalisés, la plupart des objections soulevées sont pour la plupart exagérées, voire obsolètes, face aux progrès des fournisseurs de solutions Cloud public notamment sur la conformité ou encore l’authentification. Et si le Cloud privé peut constituer une première étape naturelle pour l’entreprise, c’est sans doute le Cloud hybride qu’il trouvera le plus de flexibilité et de réduction des coûts. Profiter de ressources virtuellement illimités pour répondre à des pics ponctuels, rationaliser son PRA ou encore simplifier les échanges avec les entités externes ne sont que quelque uns des scénarios que nous allons détailler dans cette session.
Cloud prive cloud public pourquoi choisir tech days 2012 rdiJulien Lesaicherre
Cloud Hybride, le meilleur des deux mondes ? Selon plusieurs études menées par le cabinet McKinsey & Company, les problèmes de sécurité des infrastructures en environnement Cloud public ne doivent plus être un frein à son adoption. D'après les travaux réalisés, la plupart des objections soulevées sont pour la plupart exagérées, voire obsolètes, face aux progrès des fournisseurs de solutions Cloud public notamment sur la conformité ou encore l'authentification. Et si le Cloud privé peut constituer une première étape naturelle pour l'entreprise, c'est sans doute le Cloud hybride qu'il trouvera le plus de flexibilité et de réduction des coûts. Profiter de ressources virtuellement illimités pour répondre à des pics ponctuels, rationaliser son PRA ou encore simplifier les échanges avec les entités externes ne sont que quelque uns des scénarios que nous allons détailler dans cette session
Koha, metabuscadores y herramientas colaborativas de edición de contenidosVicente Piñeiro
La Consellería de Cultura e Turismo de la Xunta de Galicia inicia en 2006 un proyecto de automatización de bibliotecas con el objetivo de seleccionar e implantar software 2.0 que permita situar la biblioteca pública como mediadora cualificada entre el usuario y sus necesidades informativas, educativas, de formación y de ocio. Después de un proceso evaluativo de diferentes SIGB se escoge KOHA, tras estabilizarlo y personalizarlo se inicia su implantación en bibliotecas públicas y especializadas. En esta comunicación se analiza la respuesta de bibliotecarios y usuarios ante las nuevas herramientas y funcionalidades 2.0. Se describen carencias, nuevas funcionalidades y posibilidades de cada módulo del SIGB y se detallan las líneas de trabajo para la integración de la búsqueda federada en Koha y una herramienta colaborativa que permita a los usuarios editar y moderar contenidos con licencias Creative Commons o Copyright
Chers mercatoriens,
Cette année la Lettre Trimestrielle débute avec
quelques nouveautés. Tout d’abord une rubrique
"Note d'actualité" voit le jour afin de vous informer
de l'avancement des chantiers Mercator : une
nouvelle configuration modèle arrive, une nouvelle
thématique est développée, une campagne en mer
sert de jeu de validation temps réel pour les
prototypes... Afin aussi de vous présenter, par
exemple, un projet clef lié à Mercator, bref, de vous
parler de... notre actualité! Ensuite, nous souhaitons
inclure plus largement dans la publication, des
études issues de la recherche d’accompagnement à
Mercator, moteur crucial et efficace de la «machine
océan opérationnelle». Cet éditorial nous permet, à
ce titre, de faire un appel réitéré à toutes les bonnes
volontés des équipes du GMMC : nous avons
besoin de vous pour faire vivre cette Lettre!
L'actualité autour du projet Mercator est vaste et
mérite d'être diffusée ! A vos plumes donc!
Bien sûr, nous continuerons à vous présenter la validation effectuée sur les différents prototypes R&D ou opérationnels
Mercator puisqu’il s’agit là de la vocation principale de la Lettre Trimestrielle.
Cette année 2005 commence aussi de façon singulière. En effet, une erreur dans les résultats d’un des articles prévus a
été détectée juste avant la publication. Nous avons décidé, logiquement, de retirer cet article de la Lettre et commençons
donc l’année avec un exemplaire exceptionnellement allégé, mais néanmoins intéressant! Vous y trouverez un sujet tourné
vers l’avenir puisqu’il s’agit de la glace de mer qu'intégrera le prototype global en 2006 et découvrirez la nouvelle rubrique
« Note d’actualité » inaugurée par le projet Drakkar, pilier incontournable de la recherche d'accompagnement à Mercator
Dans le marché immobilier il y a qui cherche et qui vend / loue des maisons. Ainsi, avec la gestion de biens, les gestionnaires immobiliers offrent des solutions qui répondent aux besoins de qui cherche maison en faisant la gestion de tout le procès, de toutes les informations et opportunités en mettant l'accent sur la satisfaction du client.
Chère mercatorienne,
Cher mercatorien,
La première Newsletter 2004 vous offre, tout d’abord, un
petit tour du côté des champs analysés Coriolis déduits des
observations hydrographiques, puis une découverte de
toutes les évolutions réalisées sur la configuration
opérationnelle Atlantique Nord et Méditerranée haute
résolution en fin d’année 2003. Bonne lecture et… Très
bonne année 2004 à tous !
Claves para conseguir Empleo: "Primero conócete luego busca empleo" es importante conocer nuestras fortalezas y debilidades a la hora para buscar trabajo
Lur Gozoa cree que los problemas y las crisis que afectan a la humanidad son siempre evolutivas y ocurren como consecuencia del proceso de evolución natural, inherente a la especie humana.
Lur Gozoa quiere ayudar a crear el espacio para que el futuro tome forma y que la Humanidad pueda manifestarse como en verdad le corresponde a través de principios de solidaridad, unidad en la diversidad, reparto de la abundancia, cuidado amoroso del entorno y voluntad de colaborar con la evolución.
Sostenemos que la Fraternidad solo se podrá instaurar cuando la Libertad y la Igualdad humanas en vez de ser conceptos contradictorios se necesiten mutuamente para adquirir significado, y en ello trabajamos apasionadamente en Lur Gozoa tanto individual como colectivamente, tanto en nuestro interior como en el exterior, de todas las maneras posibles.
Lur Gozoa sabe que la Consciencia es la energía del futuro y por eso promueve su desarrollo, en todos los campos del quehacer y conocimiento humanos. Por eso está presente en tan variados ámbitos ofreciendo una visión profunda e innovadora, capaz de promover una perspectiva integral, que haga posible la vivencia de la unidad de los seres humanos, respetando al mismo tiempo su diversidad.
Lur Gozoa quiere ser un lugar de encuentro para las personas, y establecer redes de colaboración con grupos e instituciones interesados en esta forma de hacer y de ser.
Petit-déjeuner OCTO Technology : Calculez vos indicateurs en temps réel ave...OCTO Technology
Le Big Data touche le paroxysme de sa médiatisation. Tout est devenu Big Data, mélangeant nouvelles approches métiers, technologies et business models.
De vraies opportunités se présentent toutefois. Ainsi, la capacité à suivre en temps réel les indicateurs clés du business à partir d’un nombre croissant de sources de données est un challenge que le « Big Data » peut relever.
Découvrez, au travers d'un retour d'expérience commun EDF R&D/OCTO Technology, comment Storm peut vous permettre de relever ce défi.
Compte-rendu du petit-déjeuner : http://bit.ly/1dpbNgF
Cloud Computing et changement de modèle de développement sur le web, deux sujets distincts pour certains mais qui vont se confondre et interagir ensemble et ce, dès maintenant. Quels sont les mutations de développement des applications Web ? Comment comprendre et appréhender le Cloud Computing ? 2 enjeux que le développeur doit connaître et maîtriser.
François Tonic (Programmez!, Cloud Magazine)
Architecture Moderne dans le Cloud en 2018Marius Zaharia
Aujourd'hui, les grands Clouds publics - Azure et AWS - déploient à grande vitesse une diversité de services et de fonctionnalités. Entre Azure Functions, Event Grid, ou Logic Apps, que choisir? Dois-je continuer sur Microservices? Event-Driven? Lambda Architecture? Déployer sur Serverless? Conteneurs ? Modern compute ? Mettons un peu d'ordre dans tout ça. Entrez dans l'architecture moderne, la base de toute la nouvelle vague de services Cloud et pas seulement. Session axée sur l'architecture des applications et de l'infrastructure, des exemples en direct basés sur le Cloud, les perspectives et la feuille de route des services correspondants chez Microsoft Azure.
OpenDataSoft - Les plateformes ouvertes de données, nouveau levier de l'innov...OpenDataSoft
Smart cities, internet des objets, plateformes open data … grâce à sa plateforme intégrée de Data Management et Data Publishing, OpenDataSoft propose à ses clients des solutions simples et évolutives pour créer et opérer leur plateforme de d’échanges de données dédiée au développement rapide de nouveaux services BtoC ou BtoB :
- saisir toute opportunité de croiser des données internes et externes pour les valoriser à travers des applications innovantes (API, mobilité, data visualisation …)
- bénéficier de coûts très faibles par rapport aux approchesIT classiques et de permettre ainsi l’émergence et la validation de modèles économiques compatibles avec l’économie du web (“low cost – best value”)
- piloter de façon équitable et durable les services aux citoyens grâce à une approche originale de notarisation des données grâces aux solutions de hubs d’OpenDataSoft
- engager concrètement son organisation dans une cultture de l’innovation grâce aux solutions de plateforme participative de données d’OpenDataSoft
Acteurs Publics, Industrie et Services, Médias , Développeurs sont concernés par les solutions d’OpenDataSoft.
(R)evolution of the computing continuum - A few challengesFrederic Desprez
Initially proposed to interconnect computers worldwide, the Internet has significantly evolved to become in two decades a key element in almost all our activities. This (r)evolution mainly relies on the progress that has been achieved in computation and communication fields and that has led to the well-known and widely spread Cloud Computing paradigm.
With the emergence of the Internet of Things (IoT), stakeholders expect a new revolution that will push, once again, the limits of the Internet, in particular by favouring the convergence between physical and virtual worlds. This convergence is about to be made possible thanks to the development of minimalist sensors as well as complex industrial physical machines that can be connected to the Internet through edge computing infrastructures.
Among the obstacles to this new generation of Internet services is the development of a convenient and powerful framework that should allow operators, and devops, to manage the life-cycle of both the digital infrastructures and the applications deployed on top of these infrastructures, throughout the cloud to IoT continuum.
In this keynote, Frédéric Desprez and his colleague Adrien Lebre presented research issues and provide preliminary answers to identify whether the challenges brought by this new paradigm is an evolution or a revolution for our community.
SILECS/SLICES - Super Infrastructure for Large-Scale Experimental Computer Sc...Frederic Desprez
The aim of the SILECS and SLICES projects is to design and build a large infrastructure for experimental research on various aspects of distributed computing, from small connected objects to the large data centres of tomorrow. This infrastructure will allow end-to-end experimentation with software and applications at all levels of the software layers, from event capture (sensors, actuators) to data processing and storage, to radio transmission management and dynamic deployment of edge computing services, enabling reproducible research on all-point programmable networks, ... SILECS is the french node of a european infrastructure called SLICES.
Super Infrastructure for Large-Scale Experimental Computer Science, (Almost) everything you wanted to know about SILECS/SLICES but didn't dare to ask. Presentation at "journées du GDR RSD", Nantes, Jan. 23, 2020/.
SILECS: Super Infrastructure for Large-scale Experimental Computer ScienceFrederic Desprez
SILECS, based on two existing infrastructure (FIT and Grid'5000), aims to provide a large robust, trustable and scalable instrument for research in
distributed computing and networks. Experiments from the Internet of Things, data centers, cloud computing, security services, and the networks
connecting them will be possible, in a reproducible way, on various hardware and software. This instrument will offer a multi-platform experimental
infrastructure (HPC, Cloud, Big Data, Software Defined Storage, IoT, wireless, Software Defined Network / Radio) capable of exploring the
infrastructures that will be deployed tomorrow and assist researchers and industrial about how to design, build and operate a multi-scale, robust and
safe computer system. Diverse digital resources (compute, storage, link, IO devices) are be assembled to support a “playground” at scale.
Challenges and Issues of Next Cloud Computing PlatformsFrederic Desprez
Cloud computing has now crossed the frontiers of research to reach industry. It is used every day , whether to exchange emails or make
reservations on web sites. However, many research works remain to be done to improve the performance and functionality of these platforms of tomorrow. In this talk, I will do an overview of some these theoretical and appliead researches done at INRIA and particularly around Clouds distribution, energy monitoring and management, massive data processing and exchange, and resource management.
Grid'5000: Running a Large Instrument for Parallel and Distributed Computing ...Frederic Desprez
The increasing complexity of available infrastructures (hierarchical, parallel, distributed, etc.) with specific features (caches, hyper-threading, dual core, etc.) makes it extremely difficult to build analytical models that allow for a satisfying prediction. Hence, it raises the question on how to validate algorithms and software systems if a realistic analytic study is not possible. As for many other sciences, the one answer is experimental validation. However, such experimentations rely on the availability of an instrument able to validate every level of the software stack and offering different hardware and software facilities about compute, storage, and network resources.
Almost ten years after its premises, the Grid'5000 testbed has become one of the most complete testbed for designing or evaluating large-scale distributed systems. Initially dedicated to the study of large HPC facilities, Grid’5000 has evolved in order to address wider concerns related to Desktop Computing, the Internet of Services and more recently the Cloud Computing paradigm. We now target new processors features such as hyperthreading, turbo boost, and power management or large applications managing big data. In this keynote we will both address the issue of experiments in HPC and computer science and the design and usage of the Grid'5000 platform for various kind of applications.
Multiple Services Throughput Optimization in a Hierarchical Middleware
Avenir des grilles - F. Desprez
1. L’avenir des grillesDes grilles aux Clouds avec quelques « petits problèmes » de recherche F. Desprez INRIA
2. Introduction Les grilles font-elles déjà parties du “passé” ? Des plates-formes de recherche et de production disponibles Des technologies logicielles (relativement) matures Grand nombred’applicationsportées Attractivité des Clouds côtérecherche et industrie Le calculcomme un service (utility computing), suggéré par McCarthy en 1961 ! Il est moins coûteux de louer ou d’acheter de l’électricité que de construire, gérer et maintenir une station de production! Systèmes distribués !
3. Les grilles Qu’est-cequ’une grille ? «A fully distributed, dynamically reconfigurable, scalable and autonomous infrastructure to provide location independent, pervasive, reliable, secure and efficient access to a coordinated set of services encapsulating and virtualizing resources (computing power, storage, instruments, data, etc.) in order to generate knowledge...» d’après le CoreGRIDNoE
42. Grid’5000 vu comme un Cloud Quelques caractéristiques de Cloud Possibilité de gérer vos propres images disques (installées via kDeploy) Réservation de ressources transparente (via OAR) Plateforme complètement contrôlée Images de machines virtuelles (Xen, kvm, Vmware) Isolement d’applications (KaVLAN) Grid’5000 pourrait devenir Cloud’5000? Plateforme parfaite pour la validation de résultats de recherche sur les Clouds Instances de machines virtuelles connectées via un WAN dédié Plusieurs projets autour de Clouds open source, MapReduce et de la virtualisation
43. Quelquespistes de rechercheautour de Grid’5000 Applications Simulations stochastiques multi-paramétriques intensives pour l’hydrogéologie Simulation électromagnétique Calcul à grande échelle pour les problèmes d’optimisation combinatoire Métaheuristiques hybrides parallèles sur grilles de calcul. Application au Q3AP et au problème des règles de Golomb Cryptanalyse de primitives fondamentales en cryptologie asymétrique, et étude de l'apport de Grid'5000 pour les calculs d'algèbre linéaire induits par ces algorithmes Grilles/Desktop CP Expérimentation du système XtreemOS à très large échelle Robustness of large systems in presence of highchurn (P2P-ch) Profiling énergétique pour les applications à grande échelle Gestion de la sécurité dans les grilles de calcul Application Autonome sur Grille Réseau Analyser et comprendre le traffic Clouds Traitement distribué extensible utilisant le paradigme MapReduce Gestion de données partagées sur des infrastructures de type cloud Virtualisation et cloudcomputing dans les infrastructures distribuées à grand échelle
44. « Nouveaux » paradigmes de programmation ? Les applications de grandes tailles utilisent encore les paradigmes de programmation des grappes et des supercalculateurs (MPI, OpenMP) Nouvelles applications avec nouveaux besoins Manipulation de données, Workflows (dynamiques), composants logiciels, … Prise en compte de l’architecture Maîtrise de la grande échelle et de hétérogénéité, élasticité, Tolérance aux pannes, Nouvelles architectures fortement hiérarchiques, … Input SPMDs
45. MapReduce Modèle (ré)-introduit par Google “MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with the same intermediate key.”MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat Version open-source: Hadoop Nombreux travaux de recherche Extensions du langage Systèmes de fichiers distribués Réplication des données Gestion des ressources Nouvelles applications Nouvelles plates-formes (multicores, GPU) Tolérance aux pannes
46. MapReduce 3 A hash function maps the results of the map tasks to r reduce tasks Data is split into mparts 1 D1 map 5 O1 reduce A combinetask may be necessary to combine all the outputs of the reduce functions together D2 map Data O2 reduce Dm map 2 data split map reduce mapfunction is performed on each of these data parts concurrently 4 Once all the results for a particular reducetask is available, the framework executes thereducetask
47. OS Grid/Cloud-aware Des systèmes et des plates-formes hétérogènes Grappes, grilles, clouds Une utilisation compliquée intergiciels multiples, OS différents, gestion de ressources, de données, fichiers, tolérance aux pannes, sécurité, … Vers des OS pour les grilles et les clouds ? Des challenges ! Maîtrise de la grande échelle Nombre de ressources Sites et domaines multiples Dynamicité Charge, pannes, ajouts de ressources Difficulté à prédire le comportement des plates-formes et de leurs utilisateurs
48. XtreemOS Un système d’exploitation distribué pour les grilles Support des VOs multiples Ensemble de services coopérants Interface Posix/Unix Basé sur Linux API SAGA (OGF) pour les applications Extensibilité Gestion de la grande échelle et des domaines administratifs différents Distribution, réplication et migration des services XtreemOS Quelques fonctionnalités Gestion de VOs extensible, système de fichier grille (XtreemFS), monitoring, single-sign-on, checkpointing générique, outils pour l’auto-configuration et le déploiement automatique, découverte de ressources décentralisée, support pour les travaux interactifs, … Ouverture vers les Clouds (IaaS) http://www.xtreemos.eu Crédits: Christine Morin (INRIA/IRISA)
50. Gestionoptimisée de l’énergie Les grilles et les Clouds participent au changement climatique ! Approches « vertes » pour les grilles Optimisation : améliorer la conception des matériels et logiciels pour réduire leur consommation d’énergie Eteindre / Shutdown : réduire le nombres de ressources et d’équipements alimentés et inutiles : nœuds de calculs, de stockage, de communication, périphériques, … Adaptation / Slowdown : adapter la vitesse des ressources à l’usage réel : DVFS, ALR, … Coordination : proposer des solutions à grande échelle afin de bénéficier de leviers de réduction énergétique plus importants Crédits: Laurent Lefèvre (INRIA/LIP)
51. GreenITlogiciel Etapes Mesurer / collecter des informations sur la consommation électrique Injecter dans les systèmes d’information et composants Définir des environnements logiciels sensibles à la consommation électrique (protocoles, services, applications) Sensibiliser les utilisateurs et fournir des stratégies d’usage raisonnées / plus vertes Exemple sur Grid’5000 Observation et contrôle de 160 nœuds Déploiement de wattmètre pour chaque équipement Crédits: Laurent Lefèvre (INRIA/LIP)
52. Vers des grilles « vertes » L’énergie est un paramètre incontournable des infrastructures distribuées à grande échelle Mesurer/collecter/exposer la consommation énergétique des systèmes, des services et des applications est le premier pas indispensable Donner la possibilité aux utilisateurs/administrateurs des Grilles d’exprimer des compromis Energie/performance/réactivité… Ajouter le contexte énergie dans le composants logiciels des grilles (ordonnanceurs, gestionnaire de ressources…) Proposer des leviers de réduction énergétique aux utilisateurs Crédits: Laurent Lefèvre (INRIA/LIP)
53. Gestion de la virtualisationàgrandeéchelle Concept de virtualisation Le système d’exploitation n’est plus central et est un logiciel comme un autre ! Le concept de machines virtuelles consiste à recevoir des instances de systèmes. Les ressources physiques sont partagées par plusieurs machines virtuelles Propriétés Isolement Portabilité Suspend/restart Composantessentieldes Clouds
54. Gestion de la virtualisationàgrandeéchelle Quelques problématiques liées à l’utilisation de machines virtuelles à grande échelle Gérer les tâches dynamiquement (SALINE) Utiliser les capacités des machines virtuelles pour suspendre une tâche et l’exécuter (potentiellement) ailleurs Sauver des snapshots et gérer leur sauvegarde de manière extensible Combiner la virtualisation des ressources et du réseau (HiperNet) Donner à l’utilisateur l’illusion qu’il utilise un système privé Un langage de reconfiguration pour les infrastructures virtualisées (VMScript) pour décrire les jobs, les VOs, les architectures physiques Migrer une image virtuelle ou un cluster entier entre des datacenters (Shrinker) Réduire le coût de déplacement (ne transférer que le strict minimum) Tirer partie de la bande-passante d’un réseau WAN Crédits: AdrienLèbre (LINA, EMN)
55. Gestion de ressources à grande échelle Comment ordonnancer les tâches à grande échelle Workflows, tâches hétérogènes, liens avec la gestion de données, la réplication, modèles énergétiques, … Comment gérer l’allocation de machines virtuelles Modéliser les plates-formes, prédire? Gestion élastique des ressources Maîtriser les pics de charge Déplacer les VMs, les tâches Modèles économiques, énergétiques, … Méta-schedulers Ordonnancer et gérer les ressources dans un monde multi-batch et multi-gestionnaires Pilot jobs DIRAC, Condor
56. Sky computing SD Rennes Grid’5000 firewall Permettre l’exécution d’applications à grande échelle sur des plates-formes multi-cloud Expérience entre les USA et la France Nimbus (gestion de ressources, contextualisation)/ViNe (connectivité)/Hadoop (distribution des tâches, tolérance aux pannes, dynamicité) Plates-formes FutureGrid (3 sites) et Grid’5000 (3 sites) Optimisation de la création et de la propagation de machines virtuelles Lille UF Application Distribuée Application MapReduce White-listed Queue VR Hadoop Sophia ViNe UC Logiciel IaaS Logiciel IaaS All-to-allconnectivity! Crédits: Pierre Riteau (IRISA)
57.
58. + Very flexible and scalable as DIET nodes can be launched
61. + Automatic deployment of VMs with associated serviceshttp://www.sysfera.fr/ Crédits: Eddy Caron (ENS Lyon/SysFera)
62. Conclusion Relations fortes entre les grilles, les clouds et les supercalculateurs Etudier précisément les besoins des applications Choix d’une technologie ou d’un assemblage de technologies Des problèmes de recherche nombreux gestion des ressources, tolérance aux pannes, extensibilité, paradigmes de programmation, garantie de service et de performances, protocoles réseaux, OS, sécurité, … Applicabilité des résultats à de nombreuses plates-formes Validation des algorithmes, des heuristiques, des protocoles sur des instruments expérimentaux pour la recherche avant de passer en production Obtention de traces réelles d’utilisation des grilles et des Clouds Création d’images de piles logicielles complètes pour les grilles de recherche Nécessité de faire des ponts entre la recherche et la production !