Le document traite du cloud computing, en le présentant comme une évolution technologique importante qui offre des services de calcul et de stockage à la demande via des plateformes distribuées. Il examine les différents modèles de service cloud tels que IaaS, PaaS et SaaS, ainsi que les caractéristiques essentielles comme l'élasticité et la virtualisation des ressources. En outre, il souligne l'importance de la sécurité, des performances et des innovations dans ce domaine, tout en fournissant des exemples de principaux fournisseurs de cloud comme Amazon Web Services.

1. Les Clouds: Buzzword ou révolution technologiqueFrédéric Desprez, Adrian MuresanLIP ENS Lyon/INRIA Grenoble Rhône-AlpesEPI GRAAL/Avalon06/06/2010

2. Hype !

3. AgendaIntroduction

4. Cloud Computing: modes d’utilisation et exemples

5. Programmer les Clouds

6. Sécurité et pannes

7. Performances

8. Problèmes de recherche

9. Conclusionintroduction

10. IntroductionIl est moins coûteux de louer de la capacité de calcul et de stockage que de monter un centre de calcul

11. La transparence d’utilisation des grandes plates-formes distribuées est primordiale

12. Pouvoir gérer ces ressources de manière dynamique et élastique!

13. Un long historique du calcul distribué à plus ou moins grande échelle

14. Des supercalculateurs et grappes aux Clouds en passant par les grilles

15. Des besoins applicatifs de plus en plus importants et variés

16. Explosion du nombre et du volume de données

17. Utility computing

18. “Wewillprobablysee the spread of computer utilities, which, likepresentelectric and telephone utilities, will service individual homes and offices across the country”Professeur John McCarthy, 1961 !!!IntroductionLes grilles font-elles déjà parties du “passé” ?Des plates-formes de recherche et de production disponiblesDes technologies logicielles (relativement) maturesGrand nombred’applicationsportéesAttractivité des Clouds côtérecherche et industrieIl est moins coûteux de louer ou d’acheter de l’électricité que de construire, gérer et maintenir une station de production! Systèmes distribués !

19. Les grillesQu’est-cequ’une grille ?« A fully distributed, dynamically reconfigurable, scalable and autonomous infrastructure to provide location independent, pervasive, reliable, secure and efficient access to a coordinated set of services encapsulating and virtualizing resources (computing power, storage, instruments, data, etc.) in order to generate knowledge ... » d’après le CoreGRIDNoE

20. Qu’est-ce que le Cloud Computing ?Un paradigme de calculdistribuéémergeantdanslequel les données et les services sontdisponiblesdans des data centers extensibles et peuventêtreaccédés de manièretransparentedepuis des appareils (ordinateurs, téléphones, grappes, …) connectés par Internet5ème génération d’architectures 1970: Mainframes,

21. 1980: Client-serveurs,

22. 1990: Web, grilles,

23. 2000: SOA,

24. 2010: Clouds Credit: IBM Corp.Cloud Computing

25. Cloud ComputingNé de

26. La profusion de ressources (data centers)

27. Une technologie de virtualisation mature et des communications à haut débit

28. Quelques caractéristiques

29. Libre service à la demande

30. Le consommateur récupère des ressources de calcul et de stockage à la demande (machines virtuelles)

31. Accès réseau

32. Ressources, briques logicielles et applications disponibles à travers le réseau pour des clients de tailles différentes

33. Mise en commun de ressources

34. Data centers fournissant les ressources (machines, stockage, mémoire, BP réseau) pour différents clients en mode partagé. Diminution des tâches de maintenance.

35. « Elasticité » réactive et rapide

36. Croissance ou décroissance dynamique du nombre de ressources en fonction de la demande et des besoins. Extensibilité !

37. Service mesuré et facturation à l’usage

38. Reporting de l’utilisation des ressources

39. Résilience

40. Continuité du serviceGoogle cluster 1997

41. Google Data centers 36 data centers contenant plus d’un million de serveurs

42. 40 serveurs/rackhttp://opencompute.org/

43. The Million-Server Data Centerhttp://spectrum.ieee.org/tech-talk/semiconductors/devices/what-will-the-data-center-of-the-future-look-like

44. Constat : CoûtInvestissement*Source :http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdf14

45. Une vue à 10000 piedsSLAsServices webVirtualisation

46. Grilles vs CloudsUne vision partagée

47. simplifier l’accès aux ressources distantes de la manière la plus transparente possible

48. Technologie différente

49. Grappes et batchs vs datacenters et virtualisation

50. Gestion de ressources

51. Statique vs dynamique

52. Modèle de programmation

53. MPI/GridRPC vs MapReduce/scripts/workflows

54. Modèle de sécurité

55. Certificats vs Web + SSL

56. Des domaines applicatifs différents (pour l’instant!)

57. HPC/HTC vs BusinessGridComputingCloudComputingSalesforces.comGrid‘5000InfrastructureIaaSCloudComputingAmazon EC2/S3Eucalyptus IaaSOpen SourceNimbus IaaSOpen SourceOpenNebulaIaaSOpen SourceFP7 ReservoirSun Open CloudMicrosoftAzureIBM Blue CloudHP FlexibleComputingServicesFutureGridLe calculcomme un service : un historique1998199920032006200820092007200520112010Crédits: T. Priol, INRIA

58. Modes d’utilisation

59. Cloud Computing: modes d’utilisationInfrastructure as a Service (IaaS)

60. Le matériel est fourni sous forme de machines virtuelles sur lesquelles on installe son image disque

61. Amazon EC2, Rackspace, GoGRID, Orange, …

62. Platform as a Service (PaaS)

63. On peut développer ses propres applications en utilisant les services fournis

64. Google Apps, Windows Azure, Amazon S3, IBM CloudBurst et Websphere, …

65. Software as a Service (SaaS)

66. Des applications entières sont disponibles à distance

67. Gmail, Googledocs, Facebook, Orange, IBM LotusLive, …Infrastructure as a ServiceAvoir accès à la demande à un grand nombre de ressources virtualiséesDynamicité, élasticitéPaiement à la consommationConcept de virtualisationLe système d’exploitation n’est plus central et est un logiciel comme un autre !Le concept de machines virtuelles consiste à recevoir des instances de systèmes. Les ressources physiques sont partagées par plusieurs machines virtuellesExemplesAmazon EC2, RightScale, GoGrid, Orange Open Cloud, …

68. VirtualisationMachines virtuelles s’exécutant sur un nœud de calculVM0VM1VM2N0Proposé par IBM dans les années 60“Virtual Machines have finallyarrived. Dismissed for a number of years as merelyacademiccuriosities, they are nowseen as cost-effective techniques for organizing computer systemsresources to provideextraordinary system flexibility and support for certain unique applications”.Goldberg, Survey of Virtual Machine Research, 1974Nœud de calculCrédits: T. Priol, INRIA

69. VirtualisationApacheweb serversimulationPropriétés IsolementVM2VM1?MachinevirtuelleMachinevirtuelleCrédits: T. Priol, INRIA

70. VirtualisationVM0N0Noeud de calculPropriétés Isolement

71. PortabilitéMachinevirtuelleMachinevirtuelleVM0N1Noeud de calculCrédits: T. Priol, INRIA

72. VirtualisationPropriétésIsolement

73. Portabilité

74. Suspend/restart (et migration ?)MachinevirtuelleVM0Crédits: T. Priol, INRIA

75. TechnoAppAppAppAppAppAppSESESESystèmed’exploitationHyperviseurMatérielMatérielPile virtualiséePile traditionnelle

76. Architecture logicielleIaaSNIST DRAFT Cloud Computing Synopsis and Recommendations

77. Amazon Web Services : ContexteSite marchand amazon.com (1995)Trafic fluctuantDisponibilitéAnalyse de donnéesGestion de stockLarge catalogueInternational : latence (réplication géographique) => CDN2006La référence IaaS => PaaS

78. On ne paye que ce qu’on utilise

79. Plus de 20 produits

80. Datacenters sur 5 régions géographiques

81. Des nouveautés régulièrement

82. Références : Dropbox, Slideshare, Netflix, Zinga …Credits: Fabien Bousquet, Kalistic

83. AWS : géo localisation: 5 régionsDe 2 à 4 zones de disponibilité dans chaque régionCredits: Fabien Bousquet, Kalistic

84. AWS : Vue générale*Source : http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdfCredits: Fabien Bousquet, Kalistic

85. AWS : Mise en placeInscription internetCarte bancaireInstantanéConsole Web pour démarrerPas d’attente de mise en placePas de coût d’installationSystème ouvert / automatisable :OutilSDKAPICredits: Fabien Bousquet, Kalistic

86. Amazon Elastic Compute CloudA set of APIs and business models which give developer-level access to Amazon’s infrastructure and content:Search As A ServiceAlexa Web Information ServiceAlexa Top SitesAlexa Site ThumbnailAlexa Web Search PlatformData As A ServiceAmazon E-Commerce ServiceAmazon Historical PricingInfrastructure As A ServiceAmazon Simple Queue ServiceAmazon Simple Storage ServiceAmazon Elastic Compute CloudOther toolsBD : RDS, SimpleDBMessaging : SNS, SQS, SESStockage : EBS, AWS Import/ExportCDN : CloudFront »« Calcul » : MapReduceDéploiement/Gestion : Beanstalk, CloudFormationSurveillance : CloudWatchRéseaux : Route 53, VPCPeople As A ServiceAmazon Mechanical TrunkCredits: Jeff Barr, Amazon

87. AutresoutilsAmazon Relational Database Service (Amazon RDS)

88. provides an easy way to setup, operate and scale a relational database in the cloud. You can launch a DB Instance and get access to a full-featured MySQL database and not worry about common database administration tasks like backups, patch management etc.

89. Amazon Simple Queue Service (Amazon SQS)

90. a reliable, highly scalable, hosted distributed queue for storing messages as they travel between computers and application components.

91. Amazon Simple Notifications Service (Amazon SNS)

92. provides a simple way to notify applications or people from the cloud by creating Topics and using a publish-subscribe protocol.

93. Amazon Elastic MapReduce

94. provides a hosted Hadoop framework running on the web-scale infrastructure of Amazon Elastic Compute Cloud (Amazon EC2) and Amazon Simple Storage Service (Amazon S3) and allows you to create customized JobFlows. JobFlow is a sequence of MapReduce steps.Autresoutils, contAmazon Virtual Private Cloud (Amazon VPC)

95. allows you to extend your corporate network into a private cloud contained within AWS. Amazon VPC uses IPSec tunnel mode that enables you to create a secure connection between a gateway in your data center and a gateway in AWS.

96. Amazon Route

97. a highly scalable DNS service that allows you manage your DNS records by creating a HostedZone for every domain you would like to manage.

98. AWS Identity and Access Management (IAM)

99. enable you to create multiple Users with unique security credentials and manage the permissions for each of these Users within your AWS Account. IAM is natively integrated into AWS Services. No service APIs have changed to support IAM, and exiting applications and tools built on top of the AWS service APIs will continue to work when using IAM.Amazon Web ServicesElastic ComputeCloud (EC2)CalculerSimple Storage Service (S3)Simple QueueService (SQS)StockerEchangerCredits: Jeff Barr, Amazon

100. Amazon Elastic Compute CloudProvides on-demand processing power

101. Virtual machine images (Amazon Machine Image, AMI)From $.10 per server hour Virtual Compute Cloud

102. Elastic Capacity

103. 1.7 GHz x86

104. 1.7 GB RAM

105. 160 GB Disk

106. 250 MB/Second Network

107. Network Security ModelTime or Traffic-based Scaling, Load testing, Simulation and Analysis, Rendering, Software as a Service Platform, Hosting$.10 - $.18 per GB data transfer

108. Amazon EC2 ConceptsAmazon Machine Image (AMI)Bootable root diskPre-defined or user-builtCatalog of user-built AMIsOS: Fedora, Centos, Gentoo, Debian, Ubuntu, Windows ServerApp Stack: LAMP, mpiBLAST, HadoopLimited to 10 GBInstanceRunning copy of an AMILaunch in less than 2 minutesStart/stop programmaticallyNetwork Security ModelExplicit access controlSecurity groupsInter-service bandwidth is free

109. Types d’instanceshttp://aws.amazon.com/fr/ec2/instance-types/High-Memory Extra Large Instance17.1 Go de Mémoire6.5 EC2 ComputeUnits (2 virtualcores avec chacun 3.25 EC2 ComputeUnits)420 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ModéréeHigh-Memory Double Extra Large Instance34.2 Go de Mémoire13 EC2 ComputeUnits (4 virtualcores avec chacun 3.25 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeHigh-Memory Quadruple Extra Large Instance68.4 Go de Mémoire26 EC2 ComputeUnits (8 virtualcores avec chacun 3.25 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeApplications à grand trafic, notamment les bases de données et les applications de mise en mémoire cachePetites Instances – défaut1.7 Go de Mémoire1 EC2 Compute Unit (1 virtualcore avec 1 EC2 Compute Unit)160 Go de stockage d’instancePlateforme 32-bitPerformance I/O: ModéréeLarge Instance7.5 Go de Mémoire 4 EC2 ComputeUnits (2 virtualcores avec chacun 2 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeExtra Large Instance15 Go de Mémoire8 EC2 ComputeUnits (4 virtualcores avec chacun 2 EC2 ComputeUnits)1,690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée

110. Types d’instances, suite http://aws.amazon.com/fr/ec2/instance-types/Quadruple Extra Large Instance Grappe de Calcul23 Go de Mémoire33.5 EC2 ComputeUnits (2 x Intel Xeon X5570, quad-core architecture “Nehalem”)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Très Elevée (10 Gigabit Ethernet)Nom API: cc1.4xlargeLes instances cette famille fournissent proportionnellement plus de ressources CPU avec une performance réseau améliorée et sont adaptées aux applications Calculs Haute Performance (HPC) et aux autres applications nécessitant un lien réseau.High-CPU Medium Instance1.7 Go de Mémoire5 EC2 ComputeUnits (2 virtualcores avec chacun 2.5 EC2 ComputeUnits)350 Go de stockage d’instancePlateforme 32-bitPerformance I/O: ModéréeNom API: c1.mediumHigh-CPU Extra Large Instance7 Go de Mémoire20 EC2 ComputeUnits (8 virtualcores avec chacun 2.5 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeNom API: c1.xlarge

111. Amazon Simple Queue ServiceEfficient, reliable load distribution layerPay by the message Scalable Queuing

112. Elastic Capacity

113. Reliable, Simple, SecureInter-process messaging, data buffering, architecture component $.10 per 1000 messages$.10 - $.18 per GB data transfer

114. EC2: StockageInstance storeCopie de l’AMI / disque de bootLimité à 10 GBInstance EC2MountDisque lié à l’instance sans coût additionnelNombre et taille variable en fonction du type d’instanceEphemeraldiskEBSNon lié au cycle de vie de l’instanceNombre et taille libresS3Copie d’un EBS à un instant TStocké sur S3SNAPSHOT Accès via APIDonnées non persistantes => Données perdues si machine arrêtée (« terminate ») ou machine plantéeDonnées persistantes => Données non liées au cycle de vie de l’instanceCredits: Fabien Bousquet, Kalistic

115. Amazon Simple Storage Service$.01 for 1000 to 10000 requestsVirtually infinite storage capacityProvides permanence layer when EC2 nodes are not running Object-Based Storage

116. 1 B – 5 GB / object

117. Fast, Reliable, Scalable

118. Redundant, Dispersed

119. 99.99% Availability Goal

120. Private or Public

121. Per-object URLs & ACLs

122. BitTorrent Support$.15 per GB per monthstorage$.10 - $.18 per GB data transfer

123. Amazon S3 ConceptsObjectsOpaque data to be stored (1 byte … 5 Gigabytes)Authentication and access controlsBucketsObject container – any number of objects100 buckets per account / buckets are “owned”KeysUnique object identifier within bucketUp to 1024 bytes longFlat object storage modelStandards-Based InterfacesREST and SOAPURL-Addressability – every object has a URLCredits: Jeff Barr, Amazon

124. Amazon S3 Concepts, contStockage. 3 actions :EcrireLireSupprimerBuckets : Dossiers / fichiersContrôle de version et droit d’accèsAccès via APIPlusieurs régions géographiques => Latence, disponibilitéCredits: Fabien Bousquet, Kalistic

125. VuegénéraleS3EC2RegionbucketZoneInstance EC2EBSAPIMountS3Security GroupStart withDo snapshotSNAPSHOTAPIAMIAMIWebCredits: Fabien Bousquet, Kalistic

126. Combiençàcoûte ?Palier gratuitDans le cadre du palier d’utilisation gratuite d’AWS, les nouveaux clients AWS peuvent démarrer avec Amazon EC2 gratuitement. À l’inscription, les nouveaux clients AWS reçoivent les services EC2 suivants chaque mois pendant un an : 750 heures d’EC2 exécutant l’utilisation d’instance Linux/Unix Micro

127. 750 heures d’ElasticLoadBalancing plus 15 GO de traitement de données

128. 10 GO de stockage Amazon Elastic Block Storage (EBS) plus 1 million d’E/S, 1 GO de stockage de copies instantanée, 10 000 copies instantanées de demandes GET et 1000 copies instantanées de demandes Put

129. 15 GO de bande passante entrante et 15 GO de bande passante sortante groupés parmi tous les services AWS Combiençàcoûte, suite Instances à la demande

130. Combiençàcoûte, instances réservéesPaiement fixe à l’année et réduction tarif horaire.

131. Combiençàcoûte, instances spotPermettent de faire une offre pour acheter de la capacité Amazon EC2 non utilisée.

132. Facturées au prix spot défini par Amazon EC2, qui fluctue de manière périodique en fonction de l’offre et de la demande pour la capacité d’instance spot.

133. Pour utiliser les instances spot, on fait une demande en spécifiant

134. le type d’instance, la région souhaitée,

135. le nombre d’instances qu’on veut exécuter

136. le prix maximum qu’on est disposé à payer par heure d’instance.