Presentació preliminar del Treball Final del GEI de la FIB-UPC

1. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Big data: ´Us de mostreig amb restriccions en el
temps d’execuci´o i la disponibilitat de CPU
Joan L´opez de la Franca Beltran
Octubre 2015

2. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Per qu`e Big Data?
-Els principals motius que han fet possible el moviment que gira
entorn del Big Data s´on:
1 El creixement d’Internet:

3. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Per qu`e Big Data?
-Els principals motius que han fet possible el moviment que gira
entorn del Big Data s´on:
2 L’aven¸c tecnol`ogic:

4. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Qu`e entra dins de l’abast del projecte?
En aquest projecte ens centrarem en un petit marc dins de l’extens
camp del Big Data
Framework de
Big Data Benchmarking
Mostreig com
a t`ecnica de
selecci´o
Cl´uster del
DAC com a
entorn de
treball

5. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
No, no, no..
-Qu`e NO entra dins de l’abast?
1 Altres eines de Big Data
2 Altres benchmarks
3 Cap altre t`ecnica de selecci´o
4 Cap altre cl´uster ni entorn de treball

6. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
No, no, no..
-Qu`e NO entra dins de l’abast?
1 Altres eines de Big Data
2 Altres benchmarks
3 Cap altre t`ecnica de selecci´o
4 Cap altre cl´uster ni entorn de treball

7. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
No, no, no..
-Qu`e NO entra dins de l’abast?
1 Altres eines de Big Data
2 Altres benchmarks
3 Cap altre t`ecnica de selecci´o
4 Cap altre cl´uster ni entorn de treball

8. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
No, no, no..
-Qu`e NO entra dins de l’abast?
1 Altres eines de Big Data
2 Altres benchmarks
3 Cap altre t`ecnica de selecci´o
4 Cap altre cl´uster ni entorn de treball

9. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Estat de l’art
-Quin ´es l’estat actual de la problem`atica?
1 La opini´o de la comunitat ´es que va contra el principi del Big
Data
2 BYOD - BYOHadoop

10. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Estat de l’art
-Quin ´es l’estat actual de la problem`atica?
1 La opini´o de la comunitat ´es que va contra el principi del Big
Data
2 BYOD - BYOHadoop

11. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Estat de l’art
-Nous moviments derivats:
Real-Time Big Data

12. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Eines principals
Framework de Big Data sobre la
qual estar`a centrat el treball.
Concretament realitzarem un estudi
sobre la influ`encia d’algunes
modificacions del seu codi font
Suite de benchmarking que
s’utilitzar´a per a poder comparar el
rendiment de l’eina Hadoop despr´es
d’aplicar-li diverses t`ecniques de
mostreig al seu codi font

13. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Eines del cl´uster
Sistema Operatiu Linux
de 64 bits
Sistema de cues de
tasques per al
repartiment equitatiu
dels recursos
Eina per a la
programaci´o d’scripts i
modificaci´o del codi
font de Hadoop

14. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Eines de documentaci´o i gesti´o
Trello per a la
definici´o, estimaci´o i
prioritzaci´o de les
tasques del projecte
Gantter per a
planificaci´o inicial de
les tasques del projecte
Sharelatex per a la
redacci´o i maquetaci´o
de la documentaci´o del
projecte

15. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Agile
Hem de tenir molt en compte que estem davant d’un projecte
d’investigaci´o i que per tant les prefer`encies poden canviar
constantment perqu`e no saben quins seran els resultats de la
recerca.
Marc de treball Scrum

16. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Scrum
-Qu`e defineix?
1 Rols
2 Gesti´o i definici´o de les tasques
3 Intervals (sprints)
4 Reunions

17. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Scrum
-Qu`e defineix?
1 Rols
2 Gesti´o i definici´o de les tasques
3 Intervals (sprints)
4 Reunions

18. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Scrum
-Qu`e defineix?
1 Rols
2 Gesti´o i definici´o de les tasques
3 Intervals (sprints)
4 Reunions

19. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Scrum
-Qu`e defineix?
1 Rols
2 Gesti´o i definici´o de les tasques
3 Intervals (sprints)
4 Reunions

20. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Definici´o de les tasques
-Tasques principals:
1 Contextualitzaci´o de la problem`atica
2 Formaci´o i aprenentatge de les eines
3 Avaluaci´o de les restriccions
4 Definici´o de les iteracions

21. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Definici´o de les tasques
-Tasques principals:
1 Contextualitzaci´o de la problem`atica
2 Formaci´o i aprenentatge de les eines
3 Avaluaci´o de les restriccions
4 Definici´o de les iteracions

22. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Definici´o de les tasques
-Tasques principals:
1 Contextualitzaci´o de la problem`atica
2 Formaci´o i aprenentatge de les eines
3 Avaluaci´o de les restriccions
4 Definici´o de les iteracions

23. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Definici´o de les tasques
-Tasques principals:
1 Contextualitzaci´o de la problem`atica
2 Formaci´o i aprenentatge de les eines
3 Avaluaci´o de les restriccions
4 Definici´o de les iteracions

24. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Pla de conting`encia
-Qu`e hem de tenir en compte?
1 C`opies de seguretat al cloud
2 Entorn de treball malm`es
3 Caiguda dels serveis del cl´uster
4 No disponibilitat de l’autor

25. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Pla de conting`encia
-Qu`e hem de tenir en compte?
1 C`opies de seguretat al cloud
2 Entorn de treball malm`es
3 Caiguda dels serveis del cl´uster
4 No disponibilitat de l’autor

26. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Pla de conting`encia
-Qu`e hem de tenir en compte?
1 C`opies de seguretat al cloud
2 Entorn de treball malm`es
3 Caiguda dels serveis del cl´uster
4 No disponibilitat de l’autor

27. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Pla de conting`encia
-Qu`e hem de tenir en compte?
1 C`opies de seguretat al cloud
2 Entorn de treball malm`es
3 Caiguda dels serveis del cl´uster
4 No disponibilitat de l’autor

28. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
An`alisi econ`omic
-Despr´es de realitzar un an`alisi econ`omic dels costos del projecte,
hem vist que ´es competitiu, per`o que hem de donar `emfasi a dos
aspectes:
1 Acc`es gratu¨ıt als serveis del cl´uster
2 Desconeixement inicial del context per part de l’autor

29. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
An`alisi econ`omic
-Despr´es de realitzar un an`alisi econ`omic dels costos del projecte,
hem vist que ´es competitiu, per`o que hem de donar `emfasi a dos
aspectes:
1 Acc`es gratu¨ıt als serveis del cl´uster
2 Desconeixement inicial del context per part de l’autor

30. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Sostenibilitat
-Valoraci´o desglosada en tres dimensions:
1 Econ`omica: Viable econ`omicament. Contribueix en l’`ambit
de recerca a la UPC
2 Social: Enfocat a les grans organitzacions amb repercussi´o
global a la societat
3 Ambiental Sector amb gran impacte medioambiental,
realitzat en un entorn educatiu

31. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Sostenibilitat
-Valoraci´o desglosada en tres dimensions:
1 Econ`omica: Viable econ`omicament. Contribueix en l’`ambit
de recerca a la UPC
2 Social: Enfocat a les grans organitzacions amb repercussi´o
global a la societat
3 Ambiental Sector amb gran impacte medioambiental,
realitzat en un entorn educatiu

32. Introducci´o Abast Estat de l’art Eines Metodologia de treball Planificaci´o Sostenibilitat
Sostenibilitat
-Valoraci´o desglosada en tres dimensions:
1 Econ`omica: Viable econ`omicament. Contribueix en l’`ambit
de recerca a la UPC
2 Social: Enfocat a les grans organitzacions amb repercussi´o
global a la societat
3 Ambiental Sector amb gran impacte medioambiental,
realitzat en un entorn educatiu