Presentation Mapreduce Bjornnordlund

Map – reduce og andre teknikker for parallellisering - Bjørn Nordlund

Hvorfor Parallellisering? 09.06.09 s.

Hvorfor skal jeg snakke om parallellisering

Outline ,[object Object],[object Object],[object Object],[object Object]

Hva er parallellisering? ,[object Object]

Hva er samtidighet (concurrency)? ,[object Object],[object Object]

Tilstand(state) og samtidighet, thread safety ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Race conditions, deadlocks og contention ,[object Object],[object Object],[object Object]

Parallellisering på flere nivåer ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Finkornet parallellisering i Java

Java 1.4 og før, java.util.concurrent i 1.5 Tekst endres i Topp- og Bunntekst 09.06.09 s. Synchronized eksempel?

Executor og Future ,[object Object],[object Object],[object Object]

Fork/Join jsr 166 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Hvordan? ,[object Object],[object Object],[object Object],[object Object],[object Object]

Master – Worker (distribuering av tasks)

Map - Reduce ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

MAPREDUCE ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Map – Reduce (for distribuert computation) ,[object Object],[object Object]

[object Object],[object Object],[object Object]

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Hva egner seg for parallellisering ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Hvor parallellt? ,[object Object],+1? x2? x4? Gjør målinger

Hva kan man oppnå av ytelse Tekst endres i Topp- og Bunntekst 09.06.09 s.

Parallellisering ,[object Object],Tekst endres i Topp- og Bunntekst 09.06.09 s. ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Performance: samme ytelse med mindre ressurser Skalering: mer ytelse med mer ressurser

Ikke overdriv ,[object Object]

Problembeskrivelse ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Problem ,[object Object],[object Object],[object Object],[object Object],[object Object],Tekst endres i Topp- og Bunntekst 09.06.09 s.

Løsning ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Workflow Tekst endres i Topp- og Bunntekst 09.06.09 s. Database Små filer Filoppsplitter (MASTER) Tjeneste (WORKER) Stor fil work_item

Tekst endres i Topp- og Bunntekst 09.06.09 s.

1 tråd på en server Tekst endres i Topp- og Bunntekst 09.06.09 s. Antall tråder = 1 Behandlinger per sekund = 800

2 tråder på en server Antall tråder = 2 Behandlinger per sekund = 1500

4 tråder på en server Antall tråder = 4 Behandlinger per sekund = 2600

4 tråder på 2 servere = 8 Antall tråder = 8 Behandlinger per sekund = 4200

8 tråder på 2 servere = 16 Antall tråder = 16 Behandlinger per sekund = 6000

Transaksjoner / sekund med forskjellig antall tråder Tekst endres i Topp- og Bunntekst 09.06.09 s.

Gåte: Hva er vår bottleneck?

Oppsummering ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Noen referanser ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Presentation Mapreduce Bjornnordlund

Recommandé

Recommandé

Contenu connexe

Similaire à Presentation Mapreduce Bjornnordlund

Similaire à Presentation Mapreduce Bjornnordlund (20)

Presentation Mapreduce Bjornnordlund

Notes de l'éditeur