1. SOA - BRMS - ESB - BPM – CEP – BAM - High Performance – Compute & Data Grid - Cloud Computing - Big Data – NoSQL – Analytics - Mobile
Morning With
7 Novembre 2012
Mathias Kluba
Managing Consultant – Responsable offres NoSQL et Big Data
Novembre 2012

2. Speaker
Speaker: Mathias Kluba
 Twitter @mathiaskluba
 Email mathias.kluba@fastconnect.fr
1

3. Présents sur tout le cycle de vie applicatif
• Conseil
• Accompagnement à l’adoption technologique
• Formations
• Direction et Gestion de Projets
• Animation des Centres de
Compétences/Expertises
• Gestion des indicateurs de Performance et
Qualités (KPI, SLA…)
• Architecture & Développement
• Socle Documentaire
• Méthodologie et Bonnes Pratiques suivant le
domaine
• Expertise
• Support & TMA
2

4. Nos offres d’accompagnement autour du BigData et
NoSQL
Formations
 Formation générale BigData
 Formation générale NoSQL
Formations  Formation Hadoop, MongoDB, Gigaspaces, ActivePivot, Spotfire
Conseil et architecture
 Conseil en architecture et évolution SI
 Accompagnement au choix des solutions
Conseil  Audit pré ou post production
 Propositions d’architectures cibles
Architecture  Création, amélioration de frameworks
 Revues d’architecture
Ingénierie
 Mise en place d’une architecture d’analyse
et traitement des données BigData Hadoop/NoSQL
 Expertise technique, usines logicielle, frameworks, bonnes
Ingénierie pratiques, développement itératif
 Intégration avec les standards et technologies existants
 Mise en place de solutions de visualisation
(dashboard/reporting/data navigation)
Exploitation et Support
 Mise en place d’une infrastructure middleware robuste et opérable
Infogérance  Intégration avec le SI existant
 Mise en place de solutions de supervision de bout en bout
et Support (SLAs, applications, système et réseaux)
 Production 24x7
 Support 1er niveau et TMA
3

5. Cas d’usage
Cas d’usage:
 Recherche dans des fichiers
 Gros volume de fichiers
 On souhaite garder le format d’origine
 On veut faire des recherches « complexes »
 On souhaite faire des « stats »
4

6. Première approche
Première approche:
SQL
SELECT * FROM table
WHERE field LIKE ‘%toto%’
 TROP LENT
 TROP GROS VOLUME
5

7. Deuxième approche
Deuxième approche:
programme
For(int i = 0; i < length;
i++){
doSomeStuff();
}
 TROP LENT
 TROP RIGIDE
6

8. MongoDB + Hadoop
Approche MongoDB / Hadoop :
1. Fichiers d’origines
2. Filtre un sous ensemble
+ meta-data
3. Affinage, recherche interactive
7

9. MongoDB en solo
Approche MongoDB:
MongoDB Map/Reduce
Report BIRT
8

10. En résumé
En résumé:
 L’utilisateur peut affiner sa recherche grâce à Excel
 L’utilisateur va demander au développeur un meilleur
filtre MapReduce Hadoop (meilleur analyse du texte)
 L’utilisateur peut générer un rapport (BIRT)
9

11. Approche MongoDB + Hadoop
Avantages:
 On conserve le format d’origine des fichiers
sur HDFS
 On bénéficie d’une analyse très fine du texte grâce à
Hadoop
 On stocke un gros volume grâce à la scalabilité de
MongoDB
 On peut affiner la recherche via Excel avec la
puissance des requêtes MongoDB
 On peut générer des statistiques grâce à la rapidité et
la facilité du MapReduce MongoDB
 On bénéficie du support de BIRT pour générer des
rapports
10

12. Intégration MongoDB et Excel
Requêtes MongoDB dans Excel
11

13. Statistiques MongoDB
Statistiques et monitoring sur MongoDB
12

14. Déploiement MongoDB
Déploiement avec Cloudify
13

15. Approche MongoDB
Conclusions:
 Rapide à mettre en place
 Souplesse du schéma (agilité)
 Requêtes complexes plus rapide qu’en SQL
 Scalabilité de l’infrastructure
 BIRT: intégration mongoDB en « beta »
 Besoin d’un outil de monitoring: à quand MMS
disponible en mode « hosted » ?
14

16.  Contactez nous
 www.fastconnect.fr
 blog.fastconnect.fr
 sales@fastconnect.fr