Hadoop User Group France. Vision Smart Data de PagesJaunes. Architecture Big Data.

1. VISION SMART DATA
DE PAGESJAUNES
CHERIF TIFRANI
MEHDI KIMAKHE
07/04/2016

2. 2Date • Titre de la présentation
Sommaire
 Ambitions smart data de Pages Jaunes
 Un système à bout de souffle
 Evolution de l’architecture Big Data
 Industrialisation de la plateforme Big Data
 Présentation de deux use cases
 Questions ?

3. 3Date • Titre de la présentation
Connaissez-vous Solocal group

4. 4Date • Titre de la présentation
Connaissez-vous Solocal group
4

5. 5Date • Titre de la présentation
Ambitions smart data de PagesJaunes
 Améliorer les délais de mise à disposition des données auprès des
directions métiers et des annonceurs,
× 40 fichiers de données d’audience PagesJaunes fixe
× + Les fichiers des données d’audience mobile
× + Les fichiers des données d’audience partenaires
× Différents contrats d’interface
 Être en capacité de livrer des évolutions sur les modèles
de données dans des délais courts et à faible coûts, (Time to arket),
 Rendre les services d’analyses de la performance autonomes à travers
une plateforme d’analyse adaptée aux besoins.

6. 6Date • Titre de la présentation
Un système à bout de souffle

7. 7Date • Titre de la présentation
Evolution de l’architecture Big Data

8. 8Date • Titre de la présentation
Industrialisation de la plateforme Big Data
1. Sécurisation de la plateforme (Authentification et Autorisation)
2. Haute disponibilité (Name Node, Resource Manager, Hive, Metastore, Fronts …)
3. Configuration d'un cluster multi-tenant
1. Mise en place de permissions fines par composants
2. Capacity planning (validation des différents paramètres de tuning mémoire et CPU)
3. Mise en place du cloisonnement des ressources pour Yarn et Impala (Linux CGroup)
4. Fair scheduler (mise à disposition des ressources par groupes d'utilisateur)
4. Maintenance opérationnelle de l’infrastructure et des services et gestion des incidents
d'exploitation
5. Qualification des nouveaux produits/nouvelles versions
6. Gestion des Backups/Snapshots (HDFS, MetaStore, …)
7. Supervision (monitoring/alert)

9. 9Date • Titre de la présentation
Industrialisation de la plateforme Big Data – Archi Infra

10. 10Date • Titre de la présentation
Industrialisation de la plateforme Big Data – Usine de DEV

11. 11Date • Titre de la présentation
Use case 1 : Croissements de données
Data Lake
Audiences
Data warehouse
Ventes Parution
Simulation
du moteur
Pages
Jaunes
Etude des
impacts
liés aux
évolutions
du moteur
Analyses
Pré/Post
lancement
des offres
…
Finances
 Capturer les données des différentes sources de données
 Centraliser les données sur une plateforme d’analyse
 Croiser et analyser les données

12. 12Date • Titre de la présentation
Use case 2: Offre mots clés
Algorithme
de
valorisation
des Mots-
Clés
Référentiel de MCs
Audiences PJ
web
(1,5 milliards de
recherches)
Audiences PJ
mobiles
(100 millions de
recherches)
Audiences
Google
(350 millions de
couples
récupérées)
CPC Google
(350 millions)
Correction des
termes
recherchés sur
PJ/Google via
une API interne
(82 Millions)
Mots-Clés scorés
(11 K)
 Valorisation des Mots-Clés

13. 13Date • Titre de la présentation
Use case 2: Offre mots clés
Crawl des sites
web des clients
• Moteur de crawl du contenu des sites web (Equipe IODA) => 1
M de clients identifiés
• Identification de termes importants (Equipe IODA) => 14.5 M
de termes identifiés
Référentiel des
Mots-Clés
• Référentiel à jour des Mots-clés vendus par PagesJaunes
Constitution des
packs
• Identification des Mots-Clés pertinents pour nos clients
• Remplissage des différents packs
 Constitution de packs pertinents pour les clients

14. 14Date • Titre de la présentation
Use case 2: Offre mots clés
Objectifs Proposer à nos clients des Mots-Clés proches de leurs besoins
Valoriser le rôle des commerciaux : Conseillers digitaux
Bénéfices 89% des clients gardent les MC qu’on leur propose
+6% de souscription au pack « Intégral » quand on propose
des MC
66% des mots-clés proposés sont gardés
 Constitution de packs pertinents pour les clients

15. 15Date • Titre de la présentation
Avez-vous des Questions?