Le document présente l'application des approches Big Data en finance de marché, évoquant la croissance des volumes d'information et les défis associés au stockage et à l'analyse. Il décrit également différentes technologies et méthodes telles que OLAP, MapReduce et NoSQL, ainsi que des cas d'utilisation comme le trading et la gestion des risques. Enfin, il aborde la transition d'un projet de preuve de concept à la production, y compris des aspects d'intégration, de maintenance et d'évolution des outils utilisés.

1. L'approche Big Data en
finance de marché

2. Big data et la finance
• Une tendance : forte croissance du volume d'information
• Une problématique : stocker, capacité à traiter et restituer
• Application à la Finance de marché :
– Trading Flow
– Market data et données de référentiels
– Gestion du Risk
03/12/2013
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
2

3. Les différentes approches et technologies
OLAP
MapReduce
-
Hadoop (Avro, HBase, Hive, Pig,…)
Google Research 2004 : Map Reduce one
simple Data Processing on Large Clusters
-
Les 12 règles d’Edgard F. Codd de 1993
MDX en 1997 avec Mosha Pasumansky
Des produits chez Oracle, SAP et Adobe
NoSQL
-
03/12/2013
Key Value Store
Column Family Store
Document Store (MongoDB)
Graph Database (Neo 4j) 2000
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
3

4. L'approche QuartetFS
OLAP in memory
– Des standards (MDX), intégration datasource dans Excel
– Calculs runtime
– Intégration en temps réel
Java et son écosystème
Entre le Framework et le produit
03/12/2013
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
4

5. Travailler sur un projet ActivePivot
• Partie intégration … Partie développement
• Des composants fournis adhoc (sécurité, GUI, ...)
• Des problématiques sous jacentes riches qui induisent des
développements intéressants
– Intégration dans le SI
– Des JVM un peu hors norme
– Travail sur les performances, optimisation, arbitrage de contraintes
03/12/2013
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
5

6. Sur le terrain : du POC à la production
L'intégration dans
le système
d‘information
Le POC avec
QuartetFS


03/12/2013
Travail d’adaptation aux
standards de la maison
Processus et systèmes IT
Au delà du POC :
développer les
fonctionnalités
Benchmarks,
tests,
optimisations
Accompagner les
utilisateurs vers un
outil différent



Possibilité de rester dans Excel
ActivePivot Live garde une
approche TDC
Attention ce n’est pas un
report fermé, mais au
contraire dynamique :
•
Liberté de composition
•
Arrivée de données au
fil de l’eau
•
Calculs à la demande
de visualisation
•
Reflet des intégrations
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
6

7. Et après … : maintenance et évolution
• Suivi de production facilité
– Tooling fourni par QuartetFS
– Technologies standards (Webservice, MBean, JConsole, logger)
– Développement maison pour affiner
• Les évolutions
– Positionner le curseur entre développer et utiliser
– Sortie régulière de versions QuartetFS
– Tester, benchmarker régulièrement les impacts
03/12/2013
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
7

8. Sur le terrain : la collaboration avec QuartetFS
03/12/2013
Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - contact@novencia.com
8