Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

MapReduce? ‣ Challenge: how many Hadoop, Pig, and Twitter (NoSQL East 2009)

216 184 vues

Publié le

MapReduce?
‣ Challenge: how many tweets per
user, given tweets table?
‣ Input: key=row, value=tweet info
‣ Map: output key=user_id, value=1
‣ Shuffle: sort by user_id
‣ Reduce: for each user_id, sum
‣ Output: user_id, tweet count
‣ With 2x machines, runs close to
2x faster.

Publié dans : Technologie

×