Le document présente l'évolution de l'architecture de LinkedIn entre 2003 et 2011, mettant en avant ses défis techniques et organisationnels liés à la croissance rapide de la plateforme. Les principales technologies utilisées incluent Hadoop pour la personnalisation, ainsi que des approches comme le SOA pour la scalabilité, avec un focus sur la gestion des données et des performances de service. Il aborde également l'importance d'une culture d'entreprise axée sur l'apprentissage et l'innovation, ainsi que des défis tels que l'interopérabilité et le stockage des données.

1. Evolution de l’architecture de LinkedIn, enjeux techniques et organisationnels Yassine Hinnach, Sr Engineering Manager, LinkedIn2011 © Université du Système d’Information1

2. 2011 © Université du Système d’InformationLinkedIn, en bref2

3. 2011 © Université du Système d’InformationUne croissance rapide11e site le plus visité aux Etats-Unis (rang mondial: 16, d’après alexa.com)Sources principales de revenus: comptes payants, publicités, solutions de recrutement, annonces payantes. 3

4. Piliers de la plateforme socialeProfils d’utilisateursGraphe socialRecherchesCommunicationsFlux d’activités socialesExtraction de données, personnalisation Faire glisser l'image vers l'icône pour l'ajouter2011 © Université du Système d’Information4

5. 2011 © Université du Système d’Information5Page d’acceuil

6. 2011 © Université du Système d’Information6Recherche, profil

7. 2011 © Université du Système d’InformationEvolution de l’architecture7

8. 2011 © Université du Système d’InformationArchitecture: 2003 - 20048

9. 2011 © Université du Système d’InformationArchitecture: 2005 - 20069

10. 2011 © Université du Système d’InformationArchitecture: 2007 - 201110

11. 2011 © Université du Système d’InformationArchitecture: 2007 – 2011 (suite)UI framework propriétaire: requêtes effectuées en parallèle.Cloud distribué, réécrit en C++ puis ScalaHadoop: personnalisation des produits. Offline à grande échelle.A/B testing: Tous changements de produits ou d’infrastructure.Site de dépannage en cas de catastrophe.Surveillance des systèmesetalertes. 11

12. 2011 © Université du Système d’InformationInfrastructure Email12Hadoop:Comm:Miseen placeDTOUser ActivityNew JobsMbr Info W Pics…Tickle DBTickle VoldemortMessage GenerationKafkaPYMKYPHANJAISL…GatekeeperLiXKeymasterNotifier

13. 2011 © Université du Système d’InformationTechnologies et open source13http://sna-projects.com

14. 2011 © Université du Système d’InformationSOA14

15. 2011 © Université du Système d’InformationSOA: PromessesChaque service scaleindépendamment

16. Systèmes tolérants en cas de dégradation de services.

17. Permet de développer en parallèle

18. Code découplé15

19. 2011 © Université du Système d’InformationSOA: La réalitéDifficile à implémenter

20. Moins d’intégrité de données, pas de transactions entre services.Complexité accrue du système (architecture, déploiements, versions, configuration, instrumentation)

21. Coût accru

22. Autres problèmes: timeouts en cascade, plus de temps réseau.16

23. 2011 © Université du Système d’InformationSOA: Mise en œuvre Parallélisation des requêtes à tous niveaux y compris framework UI.

24. Gestion des timeouts: loadbalancers, adaptation aux services en difficulté.

25. Colocaliser physiquement les données pour minimiser le I/O disque aléatoire.

26. Caches de données.

27. Instrumentation: «Whatgetsmeasuredgetsfixed».17