Big Data Basics
•Télécharger en tant que PPTX, PDF•
0 j'aime•842 vues
@ Digitale Stadt Düsseldorf, 07.11.13
Recommandé
Recommandé
Contenu connexe
Plus de inovex GmbH
Plus de inovex GmbH (20)
Big Data Basics
- 1. BIG DATA BASICS NICHT NUR AUF DIE GRÖSSE KOMMT ES AN.
- 2. VOLUME
- 3. Use Case: LHC / CERN Use Case: LHC / CERN ‣ 27-km-Ring bei Genf, 100 m unter der Erde ‣ 600 Millionen ProtonenKollisionen pro Sekunde ‣ Aufgezeichnet von Detektoren mit Millionen von Channels ‣ 1 PB generierte Daten pro Sekunde ‣ 25 PB gespeicherte Daten pro Jahr Illustration: CERN
- 4. Wie kann man mit diesem Daten-Volumen umgehen? Use Case: LHC / CERN ‣ Wie speichern? ‣ Wie übertragen? ‣ Wie verarbeiten? ‣ Wie etwas finden? Illustration: CERN
- 5. Teile und (be)herrsche! Use Case: LHC / CERN WLCG (World Wide LHC Computing Grid) ‣ ‣ ‣ 170 Sites weltweit ‣ 4.000 – 65.000 Cores ‣ 2 GB RAM pro Core ‣ 1 – 30 PB storage 1,5 Millionen Jobs pro Tag Zugriff in Echtzeit für 8.000 Physiker
- 6. VARIETY
- 7. Was wird aus Fernsehen? Was wird aus Fernsehen?
- 8. „Online“ wird integriert ...
- 9. ... und es wird interaktiv.
- 10. Use Case: TV und Social Media „Wer wird in der nächsten Woche vorne sein?” „In order to win you need to tune in …“ Gamification & CRM #GNTM ist in aller Munde … Social Media ProSieben Connect Echte Fans möchten mehr wissen … Backstage Content
- 11. Eine andere Art von Daten Strukturierte Informationen Unstrukturierte Informationen Semi-strukturierte Informationen
- 12. VELOCITY
- 13. Use Case: Realtime Bidding ‣ ‣ ‣ weiblich 31 bis 40 Jahre alt ... Was würden Sie für eine exklusive Anzeige auf der Seite bezahlen, die sie gerade betrachtet? Sie haben 300 Milli-Sekunden Zeit für Ihre Antwort!
- 14. VIELEN DANK! WIR SEHEN UNS AN UNSEREM INFOPOINT …
Notes de l'éditeur
- accelerator underground, large ring from superconducting magnets to bend particles (picture)Coldest place on earth (He -271°C)Protons clockwise and counterclockwise at almost speed of lightCollisions at certain interaction points around the ring, surrounded by huge detectors (2 of 4 shown in picture)Huge interaction rateEach collision fires millions of detector channelsGenerates 1 PB/s of dataWay too heavy, need online decision on basic observables whether to keep eventRemaining dataset is still 25 PB/a
- accelerator underground, large ring from superconducting magnets to bend particles (picture)Coldest place on earth (He -271°C)Protons clockwise and counterclockwise at almost speed of lightCollisions at certain interaction points around the ring, surrounded by huge detectors (2 of 4 shown in picture)Huge interaction rateEach collision fires millions of detector channelsGenerates 1 PB/s of dataWay too heavy, need online decision on basic observables whether to keep eventRemaining dataset is still 25 PB/a
- Heatmap from http://rtm.hep.ph.ic.ac.uk/webstart.phpNeed WLCG to cope with the data volume170 sites layered in tiers (central tuer-0, national tier-1’s, many tier-2’s)Highlight sites specs + high-throughput bandwidth among sitesCollision data spread over the entire grid. Always keep copies.Provide data to final analysesMassive access from 8000 physicists in parallel. 1.5 million jobs/d.Jobs come to data, not vice versa. Save bandwidth.It works: Higgs Discovery 2012, many measurements and discoveries may lie ahead.