HUG France #1 - 15 Mars 2012    Salades, tartes au poulpe et Hadoop         Une expérience d’utilisation d’HadoopYann Schw...
KobojoCe support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation    ...
Architecture●    4 jeux    ●        AWS - .Net – Redis    ●        Azure - .Net – MongoDB    ●        Datacenter    ●     ...
Les données●    Tracking utilisateur (actions dans le jeu)●    Logs applicatifs●    Données utilisateur : SQL Server●    D...
Le tracking●    Emis par les jeux    ●        À chaque action●    Reçus par des serveurs de tracking    ●        Traitemen...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation     Comme...
Avant●        Données descendues dans un SGBD / cube●        Batches la nuit    Mais des problèmes de…    ●        Volume ...
Passage à Hadoop●    Elastic Map Reduce    « what happens in the cloud stays in the cloud… »●    Pig Latin●    Migration d...
Des petits cahots sur la route●        Plate-forme        ●                Version de pig / hadoop sur EMR        ●       ...
Pistes considérées●    Cascading / cascalog●    Import avec flume      et /ou●    Event processing et import avec Storm   ...
HUG France #1 - 15 Mars 2012     Salades, tartes au poulpe et Hadoop                Merci de votre attentionYann Schwartz ...
Prochain SlideShare
Chargement dans…5
×

Hadoop chez Kobojo

2 357 vues

Publié le

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

Publié dans : Technologie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
2 357
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1 031
Actions
Partages
0
Téléchargements
29
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Hadoop chez Kobojo

  1. 1. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Une expérience d’utilisation d’HadoopYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  2. 2. KobojoCe support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  3. 3. Architecture● 4 jeux ● AWS - .Net – Redis ● Azure - .Net – MongoDB ● Datacenter ● SI interne Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  4. 4. Les données● Tracking utilisateur (actions dans le jeu)● Logs applicatifs● Données utilisateur : SQL Server● Données des jeux : Redis, MongoDB● Tracking : S3 – Azure storage Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  5. 5. Le tracking● Emis par les jeux ● À chaque action● Reçus par des serveurs de tracking ● Traitement ● Nettoyage et décoration ● Différents sinks ● Suivi temps réel Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  6. 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  7. 7. Avant● Données descendues dans un SGBD / cube● Batches la nuit Mais des problèmes de… ● Volume ● Localité ● Temps de traitement Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  8. 8. Passage à Hadoop● Elastic Map Reduce « what happens in the cloud stays in the cloud… »● Pig Latin● Migration de jobs existants et nouveaux jobs ● Statistiques d’usage ● Engagement ● Comportements d’achats ● Calculs sur les graphes sociaux Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  9. 9. Des petits cahots sur la route● Plate-forme ● Version de pig / hadoop sur EMR ● Compatibilité cygwin ● Pig ● Impedance mismatch ● Orchestration ● Convaincre les data analysts Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  10. 10. Pistes considérées● Cascading / cascalog● Import avec flume et /ou● Event processing et import avec Storm Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  11. 11. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Merci de votre attentionYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

×