Télécharger en tant que PDF, PPTX
Téléchargé parGeoffrey Garnotel
Google datastore & search api
Ce document présente Google Datastore et Bigtable, en expliquant leur fonctionnement, leur architecture et leurs opérations, ainsi que les APIs associées. Il souligne également la scalabilité, la fiabilité et la cohérence des données offertes par ces technologies. Enfin, il discute de l'API de recherche Google, ses types de champs et ses capacités de requêtes.
Google datastore & search api
- 1. Google Datastore &Search API
- 2. Twitter : @celine_louvet Github: celinelouvet Céline Louvet Chez Sfeir depuis 2011 Développeuse Backend Core Java, Google Cloud Platform TDD, Qualité de code
- 3.
- 4. ● BDD dédiéepour AppEngine ● BDD NoSQL Schemaless ● Clé / Valeur Google Datastore Qu’est ce que c’est ?
- 5. Cohérence forte : Ladonnée est toujours cohérente entre toutes les instances Cohérence faible : Il faut du temps avant que toutes les données soient cohérentes entre les instances Google Datastore Préambule
- 6. Google Datastore Datastore Megastore Bigtable Query Fiabilité (Réplication) Scalabilité(Sharding automatique) Architecture interne
- 7. Google Datastore Datastore Megastore Bigtable Query Fiabilité (Réplication) Scalabilité(Sharding automatique) Bigtable
- 8. Google Datastore Qu’est ceque Bigtable ? ● 1ère base haute disponibilité et scalable de Google ● Utilisation par Google : ○ Sur plus de 60 projets ○ Web Search, Youtube, Earth, Analytics, etc. ● Dédiée au stockage : ne supporte pas les queries
- 9. Google Datastore Représentation deBigtable ● Map multi-dimensionnelle, triée ○ comporte des lignes ○ une ligne comporte des colonnes ○ chaque cellule comporte plusieurs versions de la donnée, indexées par timestamp Row 1 Col 1 t1 t1’ Col 2 t2 t2’ Row 2 Col 1 t3 t3’
- 10. Google Datastore Opérations surBigtable ● Exclusivement pour une ligne ○ Create, Read, Update & Delete ○ une cohérence forte ○ transactions ● Tri par clé de ligne ○ Permet les requêtes par plage de clés de ligne ○ Mais aucune recherche par colonne
- 11. Google Datastore Datastore Megastore Bigtable Query Scalabilité (Shardingautomatique) Megastore Fiabilité (Réplication)
- 12. Entity Group 1Entity Group 2 Google Datastore Qu’apporte Megastore ? ● Réplication des données ● Cohérence acceptable ● Données réparties en “Entity groups” Cell Cell Comment Comment Comment Comment Cell User Spreadsheet Spreadsheet
- 13. Cohérence faible Google Datastore Réplication& scalabilité Datacenter 1 Paul Datacenter 2 Valérie Cohérence forteEntity Group 1 Entity Group 2
- 14. Google Datastore Opérations entreEntity Groups Entity Group 1 Entity Group 2 Index globaux Cohérence faible Index locaux Cohérence forte Entités Modification Queue Entités Index locaux Cohérence forte
- 15. Google Datastore Datastore Megastore Bigtable Query Scalabilité (Shardingautomatique) Datastore Fiabilité (Réplication)
- 16. Google Datastore Qu’apporte Datastore? ● Facilité de requête ○ APIs de manipulation des données (Python, Java, Go) ● Clé / Valeur
- 17. Google Datastore Principe duDatastore ● Combinaison de plusieurs Bigtables ○ Entities table ○ Index tables : ■ entities by kind ■ entities by property ASC ■ entities by property DESC ○ Custom indexes table
- 18. Google Datastore Différentes APIs ●API Low-Level ● JDO/JPA ● Frameworks externes : Objectify, Twig, Slim3, etc.
- 19.
- 20. Google Datastore Différentes APIsen résumé ● API Low-Level ○ Meilleures performances ○ Plus de code à produire ● Objectify ○ Beaucoup moins de code ○ Des performances dégradées ○ Prise en compte des évolutions plus longue ○ Des bugs potentiels
- 21.
- 22. ● Moteur derecherche plein texte ● Document ● Scalable, shardée Google Search API Qu’est ce que c’est ?
- 23. ● Objet uniqueavec un id et des champs ● Plusieurs types de champs : ○ Atom ○ Text ○ HTML ○ Number ○ Date ○ Geopoint Google Search API Documents
- 24. ● Récupération dedocuments : ○ par id ○ par plage d’ids ● Recherche par contenu en respectant des critères Google Search API Index
- 25. ● Sur tousles champs : la tour sombre ● Sur certains champs spécifiquement : “author=king” ● En combinant : “author=king AND NOT title=tour” Google Search API Requêtes
- 26.
- 27.
- 28. Le couple idéal Service DAOSearch Datastore Search API
- 29.
- 30.
- 31.
- 32. ● Megastore :Providing Scalable, Highly Available Storage for Interactive Services ● Bigtable: A Distributed Storage System for Structured Data ● Understanding Paxos Sources