![Les bases de données ,[object Object]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (20)
Similaire à Base NoSql et Python
Similaire à Base NoSql et Python (20)
Base NoSql et Python
- 1. Les bases NoSQL et Python Youenn Boussard
- 3. 1960 : 1er base de donnée : militaire , hiérarchique, sous forme d'arbre
- 4. 1970 : Théorie sur l'algèbre relationnelle de Codd
- 5. 1980 : troisième génération des sgbd : les bases de données orientées objets
- 7. 1969 – RFC
- 8. 1974 – Mise au point de la norme IP
- 9. 1981 – 213 ordinateurs connectés
- 10. 1989 – Naissance du World wide Web
- 11. 2004 – Web 2.0, Facebook
- 12. 2006 – twitter
- 13. 186,7 millions de sites web
- 15. Facebook 50TB
- 18. Et les bases relationnelles pour gérer tout cela ?
- 21. Un ou plusieurs esclave
- 22. Toute les écritures vont sur le maître, répliquer sur les esclaves
- 24. Le maître est le point d'engorgement du système
- 26. Les jointures sont déportées au niveau de l'application
- 28. Le fonctionnel devient compliqué
- 29. La maintenance aussi !!
- 30. Et la disponibilité !! Des centaines de millions de lignes Des millions de lignes 14sec
- 32. A comme Availability (Disponibilité)
- 35. Cohérente
- 36. Isolée
- 38. Soft state
- 41. Distribuée
- 42. Open source
- 48. Distribué, réplication incrémental, résolution de conflit bi directionnel
- 49. Donnée indexable et requetable suivant des vues
- 50. Ecrit en
- 53. Ecriture / update : PUT
- 54. Créer : POST
- 57. Si le serveur tombe, il faut juste redémarrer CouchDB -> pas de « repair »
- 58. On peut prendre des snapshots avec des simples cp
- 59. Plusieurs niveaux de durabilité : Choix entre synchroniser à toutes les mises à jours ou à la demande
- 61. Les vues sont définies par des documents spéciaux les « designs documents »
- 62. Les vues sont écrites en javascript.
- 63. Pour maintenir des performances sur les vues, le moteur de vues maintient des indexes sous forme btree
- 66. { "_id":"_design/company", "_rev":"12345", "language": "javascript", "views": { "all": { "map": "function(doc) { if (doc.Type == 'customer') emit(null, doc) }" }, "by_lastname": { "map": "function(doc) { if (doc.Type == 'customer') emit(doc.LastName, doc) }" }, "total_purchases": { "map": "function(doc) { if (doc.Type == 'purchase') emit(doc.Customer, doc.Amount) }", "reduce": "function(keys, values) { return sum(values) }" } } } Exemple d'une vue
- 69. couchdb.design -> pour gérer les design documents
- 73. Pour accéder à une base de données
- 75. Pour supprimer une base de données
- 78. >>> db = server.create('test')
- 81. 'contact'
- 85. … name = couchdb.mapping.TextField()
- 86. … age = couchdb.mapping.IntegerField()
- 87. … modified = couchdb.mapping.DateTimeField(default=datetime.now)
- 88. >>> person = Person(name='youyou', age = 32)
- 91. ....
- 94. by_name = ViewField('people', '''... function(doc) { ... emit(doc.name, doc); ... }''') >>> Person.by_name(db, count=3)
- 96. couchdbkit.client -> API client vers couchdb
- 97. Mapping dynamique des documents
- 98. Extension django
- 99. couchdbkit.consumer -> Ecoute les changements effectués sur la base de données
- 100. couchdbkit.loaders -> pousse des fichiers de vues sur couchdb
- 102. Ecrit en python
- 103. Crée un squellete d'application
- 104. Génère du code à l'aide de macros
- 105. Déploie les applications sur des serveurs CouchDB
- 108. Tolérant à la panne
- 109. Décentraliser
- 110. Sous contrôle
- 111. Modèle de données efficient et efficace
- 112. Elastique
- 113. Durable
- 115. C'est un triplet
- 117. Mais la valeur est une liste de colonnes
- 120. Super c'est que les lignes contiennent des super colonnes aka cle : list( colonne)
- 121. Une ligne est une liste de colonnes ou de super colonnes identifiées par une clé
- 122. Super famille de colonne
- 123. L'ensemble des familles de colonnes et des supers familles de colonnes constituent un espace de clés (keyspace)
- 125. Ce tri est respecté quand on recupère les éléments -> le model doit être conçu en fonction de cela
- 126. Les lignes sont triées par leur nom
- 127. Les options de tri se font au niveau des familles de colonnes
- 129. Cassandra par l'exemple en python
- 130. La façon de structurer les données doit être proche de la façon pour lesquelles on doit les récupérer pour les afficher
- 132. La clé de la ligne est l'id de l'utilisateur
- 138. Pycassa utilise thrift, un framework d'appel de procédure à distance
- 139. Thrift gere 12 languages dont python
- 147. Embarqué
- 148. Stocké sur disque
- 149. Scalable
- 151. API simple et pratique
- 153. Relations entre les noeuds
- 154. De propriétés (au niveau des relations et noeuds)
- 156. Dans une famille il peut y avoir des produits
- 157. Chaque famille de produits peut avoir des propriétés
- 158. Exemple d'une instance de la base
- 164. Order : l'ordre de traversée
- 165. Stop : la condition de d'arrêt
- 166. Returnable : La définition des noeuds qui vont être retournés
- 167. Neo4j.py : binding python pour Neo4
Notes de l'éditeur
- Les données sont apparues avec les programmes. L'exploitation des ces données est la raison d'être de l'informatique. Avec la gestion automatique des données, l'entreprise et les états peuvent évoluer et rivaliser avec leur concurrent à l'aide de nouveaux moyens. Base de donnée relationnelle : données dans de simple tables à deux dimentions -> Suffisant pour toutes les applications ? Milieu des années 80 : conviction que tout les problemes seront résolue par les bases de donnée avec leur structure logique et physique, indépendante des applications. Année 90 avenement des technologies objets : Des estimations montrent en effet que les développeurs de programmes OO utilisant des bases de données relationnelles passent entre 25 et 40 % de leur temps à écrire un code mappant les objets aux tables relationnelles.
- L’histoire de l’Internet remonte au développement des premiers réseaux de télécommunication. L’idée d’un réseau informatique, permettant aux utilisateurs de différents ordinateurs de communiquer, se développa par de nombreuses étapes successives. 1 Licklider présente l'ordinateur comme un outil de communication et de partage des ressources. C'est le concept de l'Internet. 2 Request for comment – mise en place des norme qui régiront internet 4 Dès les années 1980, les techniques que nous reconnaissons maintenant comme les fondements de l’Internet moderne commencèrent à se répandre autour du globe 5 - La tendance depuis 2004 est l'apparition d'applications web 2.0 pour lesquelles l'internaute joue un rôle participatif.
- Digg est un site Internet communautaire qui a pour but de faire voter les utilisateurs pour une page web intéressante et proposée par un utilisateur Facebook
- Lorsque l'on veux scaler une base de données,une première solution peut être le partitionnement : Vertical : une base pour les livres, une base pour les CDs, etc Horizontal : une base pour les livre de A-M et une pour les livres de N-Z, …
- On renonce à la normalisation des données Frais de gestion importante La scabilité a un coup qui devient important
- consistence -> tout les noeuds ont les meme données en meme temps disponible -> le systeme est toujours disponible tant qu'il y a un noeud tolérance à la partition -> le systeme continue à fonctionner malgré la perte de message
- Certaines données nous paraissent logiques d'être consistantes mais cela est souvent du à notre inertie d'esprit. Prenons le cas d'une valeur indiquant le stock d'un article. Si deux serveurs ont des valeurs non consistantes, il peut arriver qu'un serveur considère qu'il en reste un alors qu'un autre qui a était mis à jour, sait qu'il n'en reste plus. Lorsque vous faites un achat et si par malchance vous acheter un livre qui n'est plus en stock, le site marchand à deux possibilités : vous rembourser ou réapprovisionner le stock (je ne sais pas vous, mais cela m'est déjà arrivé de recevoir un mail en disant que le produit était épuisé,après l'avoir commandé) les sites ont fait leur choix ! Amazon a d'ailleurs constaté qu'un dixième de seconde de latence leur fait diminuer les ventes de 1%, et Google a remarqué qu'une demi seconde de latence fait chuter le trafic d'un cinquième.
- Nosql : not only sql schema-free, easy replication support, simple API, eventually consistent / BASE (not ACID)
- Les différents types de base de donnée : Relationnel -> ACID Key-value -> support get, put, delete sur leur cle Orientée colonne -> utilise des tables mais pas de joins, les données sont stockées par colonne opposé aux traditionnels données stocké en ligne Orientée document -> stocke des documents structurée en JSON ou en XML : facil de mapper avec des langages orientée objets CA : ont des difficultés avec les partitions et doivent répliquer leurs données (base de donnée) CP : ont des difficultés avec la disponibilités en gardant consistante leurs données sur l'ensemble des noeuds AP : eventuellement consitant avec la replication et les verifications.
- Elle est conçue avant tout pour les applications web Chaque document est composé de propriétés. Il n’y a aucune contrainte sur le nombre de propriétés d’un document, sur le type de ces propriétés... Le protocole permettant d’accéder à un serveur CouchDB est basé sur HTTP, avec une interface REST. Erlang est langage fonctionnel concurrent, temps réel et distribué basé sur le modèle d'acteur. Il possède des fonctionnalités de tolérance aux pannes et de mise à jour du code à chaud permettant le développement d'applications à haute disponibilité.
- Il y a trois clés qui sont imposées par CouchDB : ● _id : l’identifiant unique du document ; ● _rev : le numéro de révision du document, géré automatiquement par le moteur CouchDB ; ● _attachments : les éventuels fichiers attachés à ce document. Stockée sous la forme de texte json ( Javascript Standard Object Notation) sérialisation d'objet une chaîne de caractères doit être mise entre quotes : "ceci est un string". ● un objet (qui supporte des données de type "clé" => valeur") est représenté par des accolades : { "key1": "value1", "key2":"value2" }. ● une liste de valeurs (un tableau) est représenté par des crochets : [ "value1","value2"]. ● JSON supporte les booléens : true et false ainsi que null. ● JSON supporte les nombres flottants : 21.34576. MVCC : multiversion concurrency control
- REST : Representational State Transfer, est connu comme une alternative simple au protocole SOAP, pour interfacer des web services. Rest n’est pas un protocole, c’est un style d’architecture.
- CouchDB uses an "optimistic concurrency" model Ie Couchdb rejete le document si celui si n'est pas celui que vous avez envoyer ! Retrieve the document, take note of the _rev property that CouchDB sends along Decrement the quantity field, if it's greater than zero Send the updated document back, using the _rev property If the _rev matches the currently stored number, be done! If there's a conflict (when _rev doesn't match), retrieve the newest document version
- Map Par exemple, considérons une liste de notes d'examen, où chaque note est 1 point trop élevée. Une fonction map de s - 1 pourrait être appliquée sur chaque note s. Reduce comment faire si l'on souhaite connaître la moyenne de la classe ? On peut définir une fonction de réduction qui diminue de moitié la liste par ajout d'une entrée dans la liste des voisins, récursivement, on continue jusqu'à ce qu'il y ait seulement une (grosse) entrée, et divise la somme totale par l'entrée originale d'éléments pour avoir la moyenne).
- 1 – Le plus gros cluster cassandra utilise 100 TB de donnée répartie sur 150 machine 2 – Les donnée sont automatiquement repliqués dur des mutliples noeud . La replication entre plusieurs data center est supporter . Les noeuds mort sont remplacer sans rupture de service 3 – Tout les noeuds sont identiques. Pas de point de failure 4 – Vous avez le choix entre une replication assynchrone et synchone pour chaque mis à jour 5 – Modele oriente colonne 5 – les lectures et les écritures augmente lineairement lorsqu'on ajoute des machines 6 – Procedure via un commitlog de ne perdre aucune donnée
- 1 – Au lieu de travailler sur des statc et rigide table avec des lignes et des colonnes vous travailler sur un graph flexible qui s'adapte a vos besoin en ayant a votre disposition des noeud , des relation et des propriétés. 2 – C'est l'application qui embarque la base de donnée neo4j 3 – Une gestion de stokage optimiser pour stocker plusieurs billion de noeud, de relaction , de proprietes. La base de donnée peut etre répartie sur plusieurs disque 4 framework performant de traversé.