SlideShare une entreprise Scribd logo
Architectures Techniques
                             « noSQL »




© OCTO 2011
noSQL, c’est quoi?

 Ensemble de technologies alternatives aux RDBMS

 Un écosystème riche qui adresse des problématiques différentes
      Modélisation de la donnée (graphe…)
      « Data Analytics »
      « Transaction Processing »




© OCTO 2011                                                              2
La fin des bases de données relationnelles?




      NON…
© OCTO 2011                                                 3
40 années d’expérience.


              Compatible avec
              l’écosystème du SI.


              Viable dans la majorité
              des cas.


© OCTO 2011                             4
1970, premières bases de données relationnelles


                              Système
                             Centralisé



                                                              Atomicité
     Optimisation                             Modélisation
     du stockage                              relationnelle
                                                              Cohérence
                                                              Isolation
                                                              Durabilité
                                          Moteur &
              Stockage sur
                                          Langage
                 disque
                                            SQL




© OCTO 2011                                                                5
POURTANT
© OCTO 2011   6
Des évolutions « hardware ».
                                      Optimiser l’organisation de la donnée pour optimiser le stockage.




                      1965     1970     1975    1980     1985    1990      1995   2000   2005   2010   2015
         1,000,000.00

 100k $/GB



POURTANT
       100,000.00

              10,000.00

               1,000.00
                                                                                                              HDD
                100.00                                                                                        RAM
                 10.00

                   1.00

  0,10 $/GB
          0.10

                   0.01
                          Source :http://www.mkomo.com/cost-per-gigabyte

© OCTO 2011                                                                                                         7
Des évolutions « hardware ».
                                                 Utiliser le disque pour contourner la limite de RAM.




                   1965      1970    1975    1980    1985    1990      1995   2000   2005   2010   2015
        10 GB
         1 GB
           1,000.00




POURTANT
              100.00

               10.00

         1 MB
            1.00                                                                                          RAM
                0.10

                0.01

                0.00

                0.00
                       Source : http://www.jcmit.com/memoryprice.htm

© OCTO 2011                                                                                                     8
Vers du « commodities »...
              Des besoins qui dépassent la capacité d’une unique machine.
              Optimisation du coût de la transaction.




                                          $




POURTANT
                                          $

                                         Source : « Datacenter As A Computer »




© OCTO 2011                                                                      9
Vers plus de disponibilité des
              systèmes.
                Disponibilité (en écriture).
                Tolérance à des niveaux de pannes plus importants,
                à coût contraint.




POURTANT
© OCTO 2011                                                          10
« Capacity Planning » &
     administration simplifiée.
              Elasticité et prédictibilité pour absorber les saisonnalités.




POURTANT
© OCTO 2011                                                                   11
L’approche « plateforme ».
              et les enjeux de mutualisation sous jacent.




POURTANT
© OCTO 2011                                                 12
Un constat : « scaler » un RDBMS, « ça
 peut être complexe ».
       Trafic en lecture.



                                             W                              W
                                     R                 R                             R
                W/R




POURTANT
 - Modéliser en fonction des
 « patterns » d’accès.
 - Dénormalisation
                               - Topologie Master / Slave
                               - Décharge les lectures
                               - (peut) impacter l’OPEX
                               - (potentielle) fenêtre
                               d’incohérence
                                                            - Stratégie de cache
                                                            - Améliore les temps de
                                                            réponse / débits en lecture
                                                            - Nécessite des stratégies
                                                            -   De « rechargement »
                                                            -   Des tolérances à la perte du cache
                                                            - (potentielle) fenêtre
                                                            d’incohérence


© OCTO 2011                                                                                          13
Un constat : « scaler » un RDBMS, « ça
 peut être complexe ».
       Trafic en lecture.



                                             W                           W
                                     R                 R                         R
                W/R




POURTANT
 - Modéliser en fonction des
 « patterns » d’accès.
 - Dénormalisation
                               - Topologie Master / Slave
                               - Décharge les lectures
                               - (peut) impacter l’OPEX
                               - (potentielle) fenêtre
                               d’incohérence
                                                            - Partitionnement du cache
                                                            pour limiter l’impact en cas de
                                                            perte
                                                            - Impacts les « operations »




© OCTO 2011                                                                                   14
Un constat : « scaler » un RDBMS, « ça
 peut être complexe ».
       Trafic en écriture.



                                                                                  W/R
                W/R                                 W/R                           W/R




POURTANT
 - Modéliser en fonction des
 « patterns » d’accès.
 - Vers des modèles
 K/V, modélidation par
 évènements plutôt que
                               - Stratégie « scale up »
                               - (potentiellement) le coût
                               -

                               -
                                   Impact à migrer sur du
                                   « distribué »
                                   Coût réseau induit par la
                                                               -Stratégie de partitionnement
                                                               - Complexité
                                                               d’administration, d’opérabilité
                                                               - (potentiellement) le coût
                                                               -   Licence / infrastructure spécifique
                                   distribution
 stock, « append-only »




© OCTO 2011                                                                                              15
Evolution du hardware


 Vers du « commodities »
                              Un foisonnement
 « Capacity planning » et     de solutions
 administration simplifiée
                              émergentes…
                                Transactionnel, Décisionnel…
 Vers plus de disponibilité
 des systèmes

 L’approche
 « plateforme »


© OCTO 2011                                                    16
…construites sur
un ADN différent


© OCTO 2011        17
Distribution des données, de la
…construites sur
      charge.
          Mécanisme de partitionnement.
          Routage client ou serveur suivant les implémentations.
          Le partitionnement et l’association clé/serveur sont assurés via « consistent


un ADN différent
      hashing ».

                                     Client
                                 md5(key) = GUS


              JOE
                                                                                 #2
                                      JOE         BOB      GUS                  «3»

              BOB

              GUS




© OCTO 2011                                                                               18
…construites sur
  Tolérance à la panne.
         Réplication synchrone / asynchrone.
         « Fail-over » automatique.
         Gestion applicative (et non plus « hardware ») de la résilience.




un ADN différent
                                        JOE       BOB        GUS

                                                                        GUS

                                                             BOB

                                                  JOE




© OCTO 2011                                                                   19
…construites sur
              Elasticité de l’infrastructure.
                Administration « simplifiée ».
                Impact la modélisation



un ADN différent                                 $ bin/nodetool decommision –h 10.0.0.2

                                     JOE                 GUS                 BOB

                                                                   GUS

                                                         BOB

                                                                   JOE




© OCTO 2011                                                                               20
Challenge…
              Durabilité
              Atomicité
              Cohérence
© OCTO 2011                21
Durabilité.      Stockage sur disques standards voire en mémoire.



  Challenge…
                      Réplication applicative des données.
                      Mécanismes de « write-behind », « write-through », « overflow ».




                 ms        µs         ns

              0.000,000,000,000
                  Disque                   Cache L2, L1
                                Mémoire




© OCTO 2011                                                                              22
Relâchement de                        ACID.
              Modélisation de la donnée en fonction des patterns d’accès.
              Proche de ce qui est fait en relationnel sous contrainte de performance.
              Possibilité de colocalisation des données.



  Challenge…            INSERT INTO…




                                        JOE       BOB        GUS




© OCTO 2011                                                                              23
MapReduce ou l’art de distribuer le
   traitement.
         Traiter (plus rapidement) des volumes de données plus faibles.



  Challenge…
         Paralléliser ces traitements « plus unitaires ».
         Co-localiser traitements et données.



                                                              Requête




                                                                          Orchestrateur
                                     Tâches    Tâches




© OCTO 2011                                                                               24
A    CID comme variable d’ajustement.
  Challenge…
                                    « Partition
                                    Tolerant »

                                          ~ système distribué




      « Availability »                                             « Consistency »


    La donnée est                                                 Les nœuds proposent
    accessible                                                    la même donnée au
                                                                  même moment
                         Source : « CAP Theorem » - Eric Brewer

© OCTO 2011                                                                          25
A   CID vu du client.
              Compromis entre cohérence, temps de réponse, tolérance à la panne en
              fonction du type de la donnée.




  Challenge…
       Cohérence faible            « Cohérence à terme »
                                                                                                 Cohérence Forte
       Aucune garantie de               « Eventual                     « Read-your-write »
                                                                           cohérence         – garantie de récupérer
      récupérer la dernière           Consistency » &
                                                                                                la dernière version
            donnée                 Quorum-based protocol


                       Source : « Eventually Consistent » - Werner Vogels




      « Availability »                                                                            « Consistency »



© OCTO 2011                                                                                                            26
« Read your write » cohérence.
              Modèle Master/Slave (pour une partition donnée).
              Réplication synchrone ou asynchrone.




  Challenge…
              Lecture « round robin » sur les partitions.




                                     Client Write         Client Write    Client Read
                                     md5(key) = 3         md5(key) = 3   md5(key) = 3




                                         JOE




                                                    JOE       JOE



© OCTO 2011                                                                             27
Cohérence à terme & « Quorum based
      protocol »
              Approche Master / Master (sur une partition donnée).



  Challenge…
              Compromis entre cohérence, temps de réponse, tolérance à la panne en
              fonction du type de la donnée, du cas d’usage.
              Résolution des conflits : suivant les implémentations.


                                    Client Write         Client Write     Client Read
                                    md5(key) = 3         md5(key) = 3    md5(key) = 3




                                        JOE




                                                   JOE       JOE



© OCTO 2011                                                                             28
Un nouvel univers
    extrêmement riche.


  Challenge…
                                      « Partition
                                      Tolerant »



                                                    « Data Grid »
               noSQL
               Amazon Dynamo clones



      « Availability »                                          « Consistency »


                                 RDBMS

© OCTO 2011                                                                       29
« Data Grid : bridging the gap »
    Un modèle moins en rupture, des solutions configurables.
    Permet le stockage en mémoire pour privilégier la latence, le « near cache »...



  Challenge…
    « Distributed Event Driven Architecture » et mécanisme de notification.

              RDBMS                   « Data Grid »                         noSQL
              Client App                  Client App                       Client App
                                                    Near Cache




 - « Disk based »                - « throughput/latency oriented   - « throughput oriented
 - Stratégie « scale up »        architecture »                    architecture »
                                 - « Master/Slave » sur les        - « Master/Master » sur les
                                 partitions                        partitions
                                 - Partitionnement / réplication   - Partitionnement uniquement
                                 - Cohérence configurable          - « Eventually consistent »
                                 - Cache local                     - « Disk based »
                                 - « Disk / memory based »

© OCTO 2011                                                                                       30
ET (APRÈS)
 DEMAIN?
© OCTO 2011   31
« Big Memory » pour trouver l’équilibre
    entre scalabilité horizontale et opérabilité

ET (APRÈS)
        Modélisation indépendante du stockage.

 DEMAIN?
© OCTO 2011                                        32
« Auto-scaling ».



ET (APRÈS)
     Architectures élastiques (gérées au niveau
     applicatif).



 DEMAIN?
© OCTO 2011                                       33

Contenu connexe

En vedette

Introduction aux bases de données NoSQL
Introduction aux bases de données NoSQLIntroduction aux bases de données NoSQL
Introduction aux bases de données NoSQL
Antoine Augusti
 
Big Data: Hadoop Map / Reduce sur Windows et Windows Azure
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureBig Data: Hadoop Map / Reduce sur Windows et Windows Azure
Big Data: Hadoop Map / Reduce sur Windows et Windows Azure
Microsoft
 
NoSQL et Big Data
NoSQL et Big DataNoSQL et Big Data
NoSQL et Big Data
acogoluegnes
 
Les modèles NoSQL
Les modèles NoSQLLes modèles NoSQL
Les modèles NoSQLebiznext
 
Introduction to Cassandra (June 2010)
Introduction to Cassandra (June 2010)Introduction to Cassandra (June 2010)
Introduction to Cassandra (June 2010)
gdusbabek
 
NoSQL: Introducción a las Bases de Datos no estructuradas
NoSQL: Introducción a las Bases de Datos no estructuradasNoSQL: Introducción a las Bases de Datos no estructuradas
NoSQL: Introducción a las Bases de Datos no estructuradas
Diego López-de-Ipiña González-de-Artaza
 
Techday Arrow Group: Hadoop & le Big Data
Techday Arrow Group: Hadoop & le Big DataTechday Arrow Group: Hadoop & le Big Data
Techday Arrow Group: Hadoop & le Big Data
Arrow Group
 
Presentation Hadoop Québec
Presentation Hadoop QuébecPresentation Hadoop Québec
Presentation Hadoop Québec
Mathieu Dumoulin
 
NoSQL databases
NoSQL databasesNoSQL databases
NoSQL databases
Marin Dimitrov
 
Big Data Analytics for connected home
Big Data Analytics for connected homeBig Data Analytics for connected home
Big Data Analytics for connected home
Héloïse Nonne
 
Présentation Big Data et REX Hadoop
Présentation Big Data et REX HadoopPrésentation Big Data et REX Hadoop
Présentation Big Data et REX Hadoop
Joseph Glorieux
 
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache SparkPlateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
ALTIC Altic
 
NoSql : conception des schémas, requêtage, et optimisation
NoSql : conception des schémas, requêtage, et optimisationNoSql : conception des schémas, requêtage, et optimisation
NoSql : conception des schémas, requêtage, et optimisation
Microsoft Technet France
 
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à HadoopCasablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Benoît de CHATEAUVIEUX
 
Bases de données NoSQL
Bases de données NoSQLBases de données NoSQL
Bases de données NoSQL
Samy Dindane
 
Enquête RegionsJob : emploi et réseaux sociaux, deuxième édition
Enquête RegionsJob : emploi et réseaux sociaux, deuxième éditionEnquête RegionsJob : emploi et réseaux sociaux, deuxième édition
Enquête RegionsJob : emploi et réseaux sociaux, deuxième édition
HelloWork
 
Une introduction à MapReduce
Une introduction à MapReduceUne introduction à MapReduce
Une introduction à MapReduce
Modern Data Stack France
 
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDIPrésentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
HaShem Selmi
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - Introduction
Blandine Larbret
 
Hadopp Vue d'ensemble
Hadopp Vue d'ensembleHadopp Vue d'ensemble
Hadopp Vue d'ensemble
Modern Data Stack France
 

En vedette (20)

Introduction aux bases de données NoSQL
Introduction aux bases de données NoSQLIntroduction aux bases de données NoSQL
Introduction aux bases de données NoSQL
 
Big Data: Hadoop Map / Reduce sur Windows et Windows Azure
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureBig Data: Hadoop Map / Reduce sur Windows et Windows Azure
Big Data: Hadoop Map / Reduce sur Windows et Windows Azure
 
NoSQL et Big Data
NoSQL et Big DataNoSQL et Big Data
NoSQL et Big Data
 
Les modèles NoSQL
Les modèles NoSQLLes modèles NoSQL
Les modèles NoSQL
 
Introduction to Cassandra (June 2010)
Introduction to Cassandra (June 2010)Introduction to Cassandra (June 2010)
Introduction to Cassandra (June 2010)
 
NoSQL: Introducción a las Bases de Datos no estructuradas
NoSQL: Introducción a las Bases de Datos no estructuradasNoSQL: Introducción a las Bases de Datos no estructuradas
NoSQL: Introducción a las Bases de Datos no estructuradas
 
Techday Arrow Group: Hadoop & le Big Data
Techday Arrow Group: Hadoop & le Big DataTechday Arrow Group: Hadoop & le Big Data
Techday Arrow Group: Hadoop & le Big Data
 
Presentation Hadoop Québec
Presentation Hadoop QuébecPresentation Hadoop Québec
Presentation Hadoop Québec
 
NoSQL databases
NoSQL databasesNoSQL databases
NoSQL databases
 
Big Data Analytics for connected home
Big Data Analytics for connected homeBig Data Analytics for connected home
Big Data Analytics for connected home
 
Présentation Big Data et REX Hadoop
Présentation Big Data et REX HadoopPrésentation Big Data et REX Hadoop
Présentation Big Data et REX Hadoop
 
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache SparkPlateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
 
NoSql : conception des schémas, requêtage, et optimisation
NoSql : conception des schémas, requêtage, et optimisationNoSql : conception des schémas, requêtage, et optimisation
NoSql : conception des schémas, requêtage, et optimisation
 
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à HadoopCasablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
 
Bases de données NoSQL
Bases de données NoSQLBases de données NoSQL
Bases de données NoSQL
 
Enquête RegionsJob : emploi et réseaux sociaux, deuxième édition
Enquête RegionsJob : emploi et réseaux sociaux, deuxième éditionEnquête RegionsJob : emploi et réseaux sociaux, deuxième édition
Enquête RegionsJob : emploi et réseaux sociaux, deuxième édition
 
Une introduction à MapReduce
Une introduction à MapReduceUne introduction à MapReduce
Une introduction à MapReduce
 
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDIPrésentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - Introduction
 
Hadopp Vue d'ensemble
Hadopp Vue d'ensembleHadopp Vue d'ensemble
Hadopp Vue d'ensemble
 

Similaire à Architectures techniques NoSQL

Etat de l art business intelligence
Etat de l art business intelligenceEtat de l art business intelligence
Etat de l art business intelligence
OCTO Technology
 
Université du SI - 2011 - La fin des bases relationnelles?
Université du SI - 2011 - La fin des bases relationnelles?Université du SI - 2011 - La fin des bases relationnelles?
Université du SI - 2011 - La fin des bases relationnelles?
Olivier Mallassi
 
Morning with MongoDB Paris 2012 - Octo
Morning with MongoDB Paris 2012 - OctoMorning with MongoDB Paris 2012 - Octo
Morning with MongoDB Paris 2012 - OctoMongoDB
 
No Sql - Olivier Mallassi - September 2010
No Sql - Olivier Mallassi - September 2010No Sql - Olivier Mallassi - September 2010
No Sql - Olivier Mallassi - September 2010
JUG Lausanne
 
Article open-silicium-juin-juillet-aout-2013
Article open-silicium-juin-juillet-aout-2013Article open-silicium-juin-juillet-aout-2013
Article open-silicium-juin-juillet-aout-2013O10ée
 
Brocade - AG France IX - 30 Juin 2011
Brocade - AG France IX - 30 Juin 2011Brocade - AG France IX - 30 Juin 2011
Brocade - AG France IX - 30 Juin 2011
France IX Services
 
Exchange Stockage : Mythes et Réalités
Exchange Stockage : Mythes et RéalitésExchange Stockage : Mythes et Réalités
Exchange Stockage : Mythes et Réalités
Microsoft Technet France
 
Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...
Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...
Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...ljaquet
 
NetApp PartnersTour 2011 à Lille, mon point de vue
NetApp PartnersTour 2011 à Lille, mon point de vueNetApp PartnersTour 2011 à Lille, mon point de vue
NetApp PartnersTour 2011 à Lille, mon point de vue
Olivier (DaffyDuke) Duquesne
 
SQL Server et infrastructure
SQL Server et infrastructureSQL Server et infrastructure
SQL Server et infrastructure
David Barbarin
 
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataPetit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Marc Bojoly
 
Lync, share point, sql
Lync, share point, sqlLync, share point, sql
Lync, share point, sql
Eudes Olivier ROBERT
 
Persistance polyglotte avec Spring Data
Persistance polyglotte avec Spring DataPersistance polyglotte avec Spring Data
Persistance polyglotte avec Spring Data
Michel Domenjoud
 
Quelle stratégie Cloud pour SharePoint v1.0 ?
Quelle stratégie Cloud pour SharePoint v1.0 ?Quelle stratégie Cloud pour SharePoint v1.0 ?
Quelle stratégie Cloud pour SharePoint v1.0 ?
Patrick Guimonet
 
Lepton : Description succincte
Lepton : Description succincteLepton : Description succincte
Lepton : Description succincteO10ée
 
La plateforme de services dynamiques OSGi
La plateforme de services dynamiques OSGiLa plateforme de services dynamiques OSGi
La plateforme de services dynamiques OSGi
Didier Donsez
 
IT Future 2012 - Fujitsu France solutions NetApp
IT Future 2012 - Fujitsu France solutions NetAppIT Future 2012 - Fujitsu France solutions NetApp
IT Future 2012 - Fujitsu France solutions NetApp
Fujitsu France
 
Les pratiques des geants du web
Les pratiques des geants du webLes pratiques des geants du web
Les pratiques des geants du web
Stephen PERIN
 
Acronis VM protect
Acronis VM protectAcronis VM protect
Acronis VM protect
PROJECT SI
 
Valtech - NoSQL: le nuage souffle un nouvel R sur les SGBD
Valtech - NoSQL: le nuage souffle un nouvel R sur les SGBDValtech - NoSQL: le nuage souffle un nouvel R sur les SGBD
Valtech - NoSQL: le nuage souffle un nouvel R sur les SGBD
Valtech
 

Similaire à Architectures techniques NoSQL (20)

Etat de l art business intelligence
Etat de l art business intelligenceEtat de l art business intelligence
Etat de l art business intelligence
 
Université du SI - 2011 - La fin des bases relationnelles?
Université du SI - 2011 - La fin des bases relationnelles?Université du SI - 2011 - La fin des bases relationnelles?
Université du SI - 2011 - La fin des bases relationnelles?
 
Morning with MongoDB Paris 2012 - Octo
Morning with MongoDB Paris 2012 - OctoMorning with MongoDB Paris 2012 - Octo
Morning with MongoDB Paris 2012 - Octo
 
No Sql - Olivier Mallassi - September 2010
No Sql - Olivier Mallassi - September 2010No Sql - Olivier Mallassi - September 2010
No Sql - Olivier Mallassi - September 2010
 
Article open-silicium-juin-juillet-aout-2013
Article open-silicium-juin-juillet-aout-2013Article open-silicium-juin-juillet-aout-2013
Article open-silicium-juin-juillet-aout-2013
 
Brocade - AG France IX - 30 Juin 2011
Brocade - AG France IX - 30 Juin 2011Brocade - AG France IX - 30 Juin 2011
Brocade - AG France IX - 30 Juin 2011
 
Exchange Stockage : Mythes et Réalités
Exchange Stockage : Mythes et RéalitésExchange Stockage : Mythes et Réalités
Exchange Stockage : Mythes et Réalités
 
Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...
Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...
Découvrez les solutions de virtualisation de Stockage DataCore et sa platefor...
 
NetApp PartnersTour 2011 à Lille, mon point de vue
NetApp PartnersTour 2011 à Lille, mon point de vueNetApp PartnersTour 2011 à Lille, mon point de vue
NetApp PartnersTour 2011 à Lille, mon point de vue
 
SQL Server et infrastructure
SQL Server et infrastructureSQL Server et infrastructure
SQL Server et infrastructure
 
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataPetit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
 
Lync, share point, sql
Lync, share point, sqlLync, share point, sql
Lync, share point, sql
 
Persistance polyglotte avec Spring Data
Persistance polyglotte avec Spring DataPersistance polyglotte avec Spring Data
Persistance polyglotte avec Spring Data
 
Quelle stratégie Cloud pour SharePoint v1.0 ?
Quelle stratégie Cloud pour SharePoint v1.0 ?Quelle stratégie Cloud pour SharePoint v1.0 ?
Quelle stratégie Cloud pour SharePoint v1.0 ?
 
Lepton : Description succincte
Lepton : Description succincteLepton : Description succincte
Lepton : Description succincte
 
La plateforme de services dynamiques OSGi
La plateforme de services dynamiques OSGiLa plateforme de services dynamiques OSGi
La plateforme de services dynamiques OSGi
 
IT Future 2012 - Fujitsu France solutions NetApp
IT Future 2012 - Fujitsu France solutions NetAppIT Future 2012 - Fujitsu France solutions NetApp
IT Future 2012 - Fujitsu France solutions NetApp
 
Les pratiques des geants du web
Les pratiques des geants du webLes pratiques des geants du web
Les pratiques des geants du web
 
Acronis VM protect
Acronis VM protectAcronis VM protect
Acronis VM protect
 
Valtech - NoSQL: le nuage souffle un nouvel R sur les SGBD
Valtech - NoSQL: le nuage souffle un nouvel R sur les SGBDValtech - NoSQL: le nuage souffle un nouvel R sur les SGBD
Valtech - NoSQL: le nuage souffle un nouvel R sur les SGBD
 

Plus de OCTO Technology

OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO Technology
 
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
OCTO Technology
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
OCTO Technology
 
Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...
Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...
Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...
OCTO Technology
 
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...
OCTO Technology
 
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonnéLe Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
OCTO Technology
 
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
OCTO Technology
 
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
OCTO Technology
 
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
OCTO Technology
 
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
OCTO Technology
 
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Technology
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
OCTO Technology
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
OCTO Technology
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Technology
 
Refcard GraphQL
Refcard GraphQLRefcard GraphQL
Refcard GraphQL
OCTO Technology
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
OCTO Technology
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
OCTO Technology
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
OCTO Technology
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
OCTO Technology
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
OCTO Technology
 

Plus de OCTO Technology (20)

OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
 
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
 
Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...
Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...
Le Comptoir OCTO - Améliorer le Time to Market grâce au Headless : la recette...
 
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...
 
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonnéLe Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
 
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
 
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
 
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
 
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
 
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
 
Refcard GraphQL
Refcard GraphQLRefcard GraphQL
Refcard GraphQL
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
 

Architectures techniques NoSQL

  • 1. Architectures Techniques « noSQL » © OCTO 2011
  • 2. noSQL, c’est quoi?  Ensemble de technologies alternatives aux RDBMS  Un écosystème riche qui adresse des problématiques différentes  Modélisation de la donnée (graphe…)  « Data Analytics »  « Transaction Processing » © OCTO 2011 2
  • 3. La fin des bases de données relationnelles? NON… © OCTO 2011 3
  • 4. 40 années d’expérience. Compatible avec l’écosystème du SI. Viable dans la majorité des cas. © OCTO 2011 4
  • 5. 1970, premières bases de données relationnelles Système Centralisé Atomicité Optimisation Modélisation du stockage relationnelle Cohérence Isolation Durabilité Moteur & Stockage sur Langage disque SQL © OCTO 2011 5
  • 7. Des évolutions « hardware ». Optimiser l’organisation de la donnée pour optimiser le stockage. 1965 1970 1975 1980 1985 1990 1995 2000 2005 2010 2015 1,000,000.00 100k $/GB POURTANT 100,000.00 10,000.00 1,000.00 HDD 100.00 RAM 10.00 1.00 0,10 $/GB 0.10 0.01 Source :http://www.mkomo.com/cost-per-gigabyte © OCTO 2011 7
  • 8. Des évolutions « hardware ». Utiliser le disque pour contourner la limite de RAM. 1965 1970 1975 1980 1985 1990 1995 2000 2005 2010 2015 10 GB 1 GB 1,000.00 POURTANT 100.00 10.00 1 MB 1.00 RAM 0.10 0.01 0.00 0.00 Source : http://www.jcmit.com/memoryprice.htm © OCTO 2011 8
  • 9. Vers du « commodities »... Des besoins qui dépassent la capacité d’une unique machine. Optimisation du coût de la transaction. $ POURTANT $ Source : « Datacenter As A Computer » © OCTO 2011 9
  • 10. Vers plus de disponibilité des systèmes. Disponibilité (en écriture). Tolérance à des niveaux de pannes plus importants, à coût contraint. POURTANT © OCTO 2011 10
  • 11. « Capacity Planning » & administration simplifiée. Elasticité et prédictibilité pour absorber les saisonnalités. POURTANT © OCTO 2011 11
  • 12. L’approche « plateforme ». et les enjeux de mutualisation sous jacent. POURTANT © OCTO 2011 12
  • 13. Un constat : « scaler » un RDBMS, « ça peut être complexe ». Trafic en lecture. W W R R R W/R POURTANT - Modéliser en fonction des « patterns » d’accès. - Dénormalisation - Topologie Master / Slave - Décharge les lectures - (peut) impacter l’OPEX - (potentielle) fenêtre d’incohérence - Stratégie de cache - Améliore les temps de réponse / débits en lecture - Nécessite des stratégies - De « rechargement » - Des tolérances à la perte du cache - (potentielle) fenêtre d’incohérence © OCTO 2011 13
  • 14. Un constat : « scaler » un RDBMS, « ça peut être complexe ». Trafic en lecture. W W R R R W/R POURTANT - Modéliser en fonction des « patterns » d’accès. - Dénormalisation - Topologie Master / Slave - Décharge les lectures - (peut) impacter l’OPEX - (potentielle) fenêtre d’incohérence - Partitionnement du cache pour limiter l’impact en cas de perte - Impacts les « operations » © OCTO 2011 14
  • 15. Un constat : « scaler » un RDBMS, « ça peut être complexe ». Trafic en écriture. W/R W/R W/R W/R POURTANT - Modéliser en fonction des « patterns » d’accès. - Vers des modèles K/V, modélidation par évènements plutôt que - Stratégie « scale up » - (potentiellement) le coût - - Impact à migrer sur du « distribué » Coût réseau induit par la -Stratégie de partitionnement - Complexité d’administration, d’opérabilité - (potentiellement) le coût - Licence / infrastructure spécifique distribution stock, « append-only » © OCTO 2011 15
  • 16. Evolution du hardware Vers du « commodities » Un foisonnement « Capacity planning » et de solutions administration simplifiée émergentes… Transactionnel, Décisionnel… Vers plus de disponibilité des systèmes L’approche « plateforme » © OCTO 2011 16
  • 17. …construites sur un ADN différent © OCTO 2011 17
  • 18. Distribution des données, de la …construites sur charge. Mécanisme de partitionnement. Routage client ou serveur suivant les implémentations. Le partitionnement et l’association clé/serveur sont assurés via « consistent un ADN différent hashing ». Client md5(key) = GUS JOE #2 JOE BOB GUS «3» BOB GUS © OCTO 2011 18
  • 19. …construites sur Tolérance à la panne. Réplication synchrone / asynchrone. « Fail-over » automatique. Gestion applicative (et non plus « hardware ») de la résilience. un ADN différent JOE BOB GUS GUS BOB JOE © OCTO 2011 19
  • 20. …construites sur Elasticité de l’infrastructure. Administration « simplifiée ». Impact la modélisation un ADN différent $ bin/nodetool decommision –h 10.0.0.2 JOE GUS BOB GUS BOB JOE © OCTO 2011 20
  • 21. Challenge… Durabilité Atomicité Cohérence © OCTO 2011 21
  • 22. Durabilité. Stockage sur disques standards voire en mémoire. Challenge… Réplication applicative des données. Mécanismes de « write-behind », « write-through », « overflow ». ms µs ns 0.000,000,000,000 Disque Cache L2, L1 Mémoire © OCTO 2011 22
  • 23. Relâchement de ACID. Modélisation de la donnée en fonction des patterns d’accès. Proche de ce qui est fait en relationnel sous contrainte de performance. Possibilité de colocalisation des données. Challenge… INSERT INTO… JOE BOB GUS © OCTO 2011 23
  • 24. MapReduce ou l’art de distribuer le traitement. Traiter (plus rapidement) des volumes de données plus faibles. Challenge… Paralléliser ces traitements « plus unitaires ». Co-localiser traitements et données. Requête Orchestrateur Tâches Tâches © OCTO 2011 24
  • 25. A CID comme variable d’ajustement. Challenge… « Partition Tolerant » ~ système distribué « Availability » « Consistency » La donnée est Les nœuds proposent accessible la même donnée au même moment Source : « CAP Theorem » - Eric Brewer © OCTO 2011 25
  • 26. A CID vu du client. Compromis entre cohérence, temps de réponse, tolérance à la panne en fonction du type de la donnée. Challenge… Cohérence faible « Cohérence à terme » Cohérence Forte Aucune garantie de « Eventual « Read-your-write » cohérence – garantie de récupérer récupérer la dernière Consistency » & la dernière version donnée Quorum-based protocol Source : « Eventually Consistent » - Werner Vogels « Availability » « Consistency » © OCTO 2011 26
  • 27. « Read your write » cohérence. Modèle Master/Slave (pour une partition donnée). Réplication synchrone ou asynchrone. Challenge… Lecture « round robin » sur les partitions. Client Write Client Write Client Read md5(key) = 3 md5(key) = 3 md5(key) = 3 JOE JOE JOE © OCTO 2011 27
  • 28. Cohérence à terme & « Quorum based protocol » Approche Master / Master (sur une partition donnée). Challenge… Compromis entre cohérence, temps de réponse, tolérance à la panne en fonction du type de la donnée, du cas d’usage. Résolution des conflits : suivant les implémentations. Client Write Client Write Client Read md5(key) = 3 md5(key) = 3 md5(key) = 3 JOE JOE JOE © OCTO 2011 28
  • 29. Un nouvel univers extrêmement riche. Challenge… « Partition Tolerant » « Data Grid » noSQL Amazon Dynamo clones « Availability » « Consistency » RDBMS © OCTO 2011 29
  • 30. « Data Grid : bridging the gap » Un modèle moins en rupture, des solutions configurables. Permet le stockage en mémoire pour privilégier la latence, le « near cache »... Challenge… « Distributed Event Driven Architecture » et mécanisme de notification. RDBMS « Data Grid » noSQL Client App Client App Client App Near Cache - « Disk based » - « throughput/latency oriented - « throughput oriented - Stratégie « scale up » architecture » architecture » - « Master/Slave » sur les - « Master/Master » sur les partitions partitions - Partitionnement / réplication - Partitionnement uniquement - Cohérence configurable - « Eventually consistent » - Cache local - « Disk based » - « Disk / memory based » © OCTO 2011 30
  • 31. ET (APRÈS) DEMAIN? © OCTO 2011 31
  • 32. « Big Memory » pour trouver l’équilibre entre scalabilité horizontale et opérabilité ET (APRÈS) Modélisation indépendante du stockage. DEMAIN? © OCTO 2011 32
  • 33. « Auto-scaling ». ET (APRÈS) Architectures élastiques (gérées au niveau applicatif). DEMAIN? © OCTO 2011 33