Material de la plática dada en el marco de Software Gurú Conferencia y Expo 2011

1. Modelos de Paralelismo y
Concurrencia
Agus4n Ramos Fonseca
@MachinesAreUs

2. 1a Parte
Cuando el Futuro nos
Alcance

3. “The Free Lunch is Over”

4. “The Free Lunch is Over”
Herb Sutter, Dr. Dobbs, 2005

5. Introducción de Procesadores
Multicore en Mercado Masivo

6. Introducción de Procesadores
Multicore en Mercado Masivo
Microprocesador “Cell”

7. No es Tema Nuevo

8. No es Tema Nuevo

9. No es Tema Nuevo
Cray 1
(1975)

10. No es Tema Nuevo
Cray 1 Blue Gene/P
(1975) (2007)

11. No es Tema Nuevo
Cray 1 Blue Gene/P
(1975) (2007)
Fujitsu K
(2011)

12. No es Tema Nuevo
Cray 1 Blue Gene/P
(1975) (2007)
Fujitsu K
(2011)

13. No es Tema Nuevo

14. No es Tema Nuevo

15. Esta plática no es sobre
“High Performance Computing”

16. ¿Por qué es relavante en las
aplicaciones de industria?

17. Escalabilidad

18. Escalabilidad
Vertical

19. Escalabilidad
Vertical
10K

20. Escalabilidad
Vertical
10K 1 x 3.2Ghz, 4 Gbytes

21. Escalabilidad
Vertical
10K 1 x 3.2Ghz, 4 Gbytes
20K 2 x 3.2Ghz, 8 Gbytes

22. Escalabilidad
Vertical
10K 1 x 3.2Ghz, 4 Gbytes
20K 2 x 3.2Ghz, 8 Gbytes
30K 4 x 3.2Ghz, 16 Gbytes

23. Escalabilidad
Horizontal

24. Escalabilidad
Horizontal
10K

25. Escalabilidad
Horizontal
10K
20K

26. Escalabilidad
Horizontal
10K
20K
30K

27. Big Data
2010.03.17
2010.03.17

28. Escalabilidad

29. Escalabilidad
Es conveniente contar con modelos de
programación que permitan escalar de
manera transparente tanto vertical
como horizontalmente.

30. 2a Parte
Modelos de Paralelismo y
Concurrencia

31. Paralelismo vs Concurrencia

32. Paralelismo vs Concurrencia
Paralelismo:

33. Paralelismo vs Concurrencia
Paralelismo:
Surge cuando al menos dos tareas se ejecutan
de manera simultánea (físicamente).

34. Paralelismo vs Concurrencia
Paralelismo:
Surge cuando al menos dos tareas se ejecutan
de manera simultánea (físicamente).
Objetivo: optimizar tiempo de ejecución.

35. Paralelismo vs Concurrencia
Paralelismo:
Surge cuando al menos dos tareas se ejecutan
de manera simultánea (físicamente).
Objetivo: optimizar tiempo de ejecución.
Concurrencia:

36. Paralelismo vs Concurrencia
Paralelismo:
Surge cuando al menos dos tareas se ejecutan
de manera simultánea (físicamente).
Objetivo: optimizar tiempo de ejecución.
Concurrencia:
Surge cuando al menos dos tareas están
realizando progreso (e.g. time sharing).

37. Paralelismo vs Concurrencia
Paralelismo:
Surge cuando al menos dos tareas se ejecutan
de manera simultánea (físicamente).
Objetivo: optimizar tiempo de ejecución.
Concurrencia:
Surge cuando al menos dos tareas están
realizando progreso (e.g. time sharing).
Objetivo: tareas colaborativas.

38. Ley de Amdahl
Gene Amdahl, 1967
La máxima mejora en desempeño que puede
obtenerse al paralelizar un programa, está dada
por:
P = Porción paralelizable [0, 1].
N = Número de procesadores.

39. Ley de Amdahl

40. Modelo más tradicional

41. Modelo más tradicional
Hilos (Threads)
c/u con Stack propio
Memoria (estado) compartida

42. Modelo más tradicional
Hilos (Threads)
c/u con Stack propio
Memoria (estado) compartida
Locks para el acceso a variables compartidas
Manualmente se adquiere / libera

43. Problemas del Modelo de Hilos

44. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución

45. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.

46. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.
Deadlocks

47. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.
Deadlocks
El pánico lleva a la serialización

48. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.
Deadlocks
El pánico lleva a la serialización
Bloquea / serializa todo!

49. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.
Deadlocks
El pánico lleva a la serialización
Bloquea / serializa todo!
Adiós concurrencia

50. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.
Deadlocks
El pánico lleva a la serialización
Bloquea / serializa todo!
Adiós concurrencia
Muy propenso a errores.

51. Problemas del Modelo de Hilos
Muy sensible a el orden de ejecución
Condiciones de competencia.
Deadlocks
El pánico lleva a la serialización
Bloquea / serializa todo!
Adiós concurrencia
Muy propenso a errores.

52. Clasificación de Modelos

53. Clasificación de Modelos
Implícito

54. Clasificación de Modelos
Implícito
Programación funcional

55. Clasificación de Modelos
Implícito
Programación funcional
Map-Reduce

56. Clasificación de Modelos
Implícito
Programación funcional
Map-Reduce
Explícito

57. Clasificación de Modelos
Implícito
Programación funcional
Map-Reduce
Explícito
Hilos

58. Clasificación de Modelos
Implícito
Programación funcional
Map-Reduce
Explícito
Hilos
Actores

59. Clasificación de Modelos
Implícito
Programación funcional
Map-Reduce
Explícito
Hilos
Actores
Data Flow

60. Programación Funcional

61. Programación Funcional
Las funciones son abstracciones de 1er nivel.

62. Programación Funcional
Las funciones son abstracciones de 1er nivel.
Se pueden usar funciones como parámetros de
otras, así como valores de retorno.

63. Programación Funcional
Las funciones son abstracciones de 1er nivel.
Se pueden usar funciones como parámetros de
otras, así como valores de retorno.
Funciones de funciones (Higher Order Functions).

64. Programación Funcional
Las funciones son abstracciones de 1er nivel.
Se pueden usar funciones como parámetros de
otras, así como valores de retorno.
Funciones de funciones (Higher Order Functions).
Los programas se ejecutan evaluando expresiones.

65. Programación Funcional
Las funciones son abstracciones de 1er nivel.
Se pueden usar funciones como parámetros de
otras, así como valores de retorno.
Funciones de funciones (Higher Order Functions).
Los programas se ejecutan evaluando expresiones.
A diferencia de secuencias de sentencias

66. Programación Funcional

67. Programación Funcional
Las funciones son puras

68. Programación Funcional
Las funciones son puras
Sin efectos colaterales.

69. Programación Funcional
Las funciones son puras
Sin efectos colaterales.
El resultado es función solamente de los
parámetros, no de algún estado (transparencia
referencial).

70. Programación Funcional
Las funciones son puras
Sin efectos colaterales.
El resultado es función solamente de los
parámetros, no de algún estado (transparencia
referencial).
Típicamente, se evita mantener estado mutable.

71. Los programas funcionales son implícitamente
paralelizables (1/4)

72. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:

73. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2

74. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:

75. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2

76. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2
Ejemplo 1 (Erlang):

77. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2
Ejemplo 1 (Erlang):
L = [ 1, 2, 3, 4, 5].

78. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2
Ejemplo 1 (Erlang):
L = [ 1, 2, 3, 4, 5].
lists:map (fun(X) -> 2*X end, L)

79. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2
Ejemplo 1 (Erlang):
L = [ 1, 2, 3, 4, 5].
lists:map (fun(X) -> 2*X end, L)
Resultado: [2, 4, 6, 8, 10]

80. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2
Ejemplo 1 (Erlang):
L = [ 1, 2, 3, 4, 5].
lists:map (fun(X) -> 2*X end, L)
Resultado: [2, 4, 6, 8, 10]
¿Importa el orden en que se aplicó F?

81. Los programas funcionales son implícitamente
paralelizables (1/4)
Función F que transforma valores:
F(v1) -> v2
Función ‘map’ sobre listas que utiliza F sobre cada elemento
de la lista, para formar otra lista:
map( F, list1 ) -> list2
Ejemplo 1 (Erlang):
L = [ 1, 2, 3, 4, 5].
lists:map (fun(X) -> 2*X end, L)
Resultado: [2, 4, 6, 8, 10]
¿Importa el orden en que se aplicó F?
No. Por tanto ¡es paralelizable!

82. Los programas funcionales son implícitamente
paralelizables (2/4)
Ejemplo 2. ¿Cuántas paralelizaciones son posibles?
List obtenerCursosSugeridos(idAlumno) ->
Lists.filter (
cursosDePeriodoActivo(),
esCursoDeAlgunaMateria(
materiasPorAprobarDeAlumno( idAlumno ) )

83. Los programas funcionales son implícitamente
paralelizables (2/4)
Ejemplo 2. ¿Cuántas paralelizaciones son posibles?
Pueden evaluarse en
paralelo porque no hay
dependencias
List obtenerCursosSugeridos(idAlumno) ->
Lists.filter (
cursosDePeriodoActivo(),
esCursoDeAlgunaMateria(
materiasPorAprobarDeAlumno( idAlumno ) )

84. Los programas funcionales son implícitamente
paralelizables (2/4)
Ejemplo 2. ¿Cuántas paralelizaciones son posibles?
Pueden evaluarse en
paralelo porque no hay
dependencias
List obtenerCursosSugeridos(idAlumno) ->
Lists.filter (
cursosDePeriodoActivo(),
esCursoDeAlgunaMateria(
materiasPorAprobarDeAlumno( idAlumno ) )
La función ‘filter’ puede aplicar en paralelo la
función ‘esCursoDeAlgunaMateria’ a cada elemento
de la lista.

85. Los programas funcionales son implícitamente
paralelizables (3/4)
Al ser expresiones, los programas funcionales no
imponen un orden estricto de ejecución, por lo que
partes del programa (sub-expresiones) pueden ser
evaluadas en paralelo, delegando a la plataforma
esta tarea.

86. Los programas funcionales son implícitamente
paralelizables (4/4)

87. Los programas funcionales son implícitamente
paralelizables (4/4)
Las características que hacen que los programas
funcionales sean paralelizables son dos:

88. Los programas funcionales son implícitamente
paralelizables (4/4)
Las características que hacen que los programas
funcionales sean paralelizables son dos:
Independencia del tiempo.

89. Los programas funcionales son implícitamente
paralelizables (4/4)
Las características que hacen que los programas
funcionales sean paralelizables son dos:
Independencia del tiempo.
No existencia de variables mutables.

90. Lenguajes Funcionales
Haskell
Scheme
Erlang
En la JVM
Clojure
Scala (Híbrido con OO)
... Es un estilo, no requiere cambiar de lenguaje.

91. Map-Reduce

92. Map-Reduce
Procesamiento de grandes conjuntos de datos.

93. Map-Reduce
Procesamiento de grandes conjuntos de datos.

94. Map-Reduce
Procesamiento de grandes conjuntos de datos.
Función Map

95. Map-Reduce
Procesamiento de grandes conjuntos de datos.
Función Map
map(k1,v1) -> lista de (k2,v2)

96. Map-Reduce
Procesamiento de grandes conjuntos de datos.
Función Map
map(k1,v1) -> lista de (k2,v2)
Función Reduce

97. Map-Reduce
Procesamiento de grandes conjuntos de datos.
Función Map
map(k1,v1) -> lista de (k2,v2)
Función Reduce
⊕ (k2, list(v2)) -> list (v3)

98. Map-Reduce

99. Map-Reduce

100. Map-Reduce
map

101. Map-Reduce
map ⊕

102. Map-Reduce
map ⊕

103. Map-Reduce

104. Map-Reduce
Propiedades deseables en el operador ‘Reduce’

105. Map-Reduce
Propiedades deseables en el operador ‘Reduce’
Asociatividad

106. Map-Reduce
Propiedades deseables en el operador ‘Reduce’
Asociatividad
a ⊕ ( b ⊕ c ) = (a ⊕ b) ⊕ c

107. Map-Reduce
Propiedades deseables en el operador ‘Reduce’
Asociatividad
a ⊕ ( b ⊕ c ) = (a ⊕ b) ⊕ c
Conmutatividad

108. Map-Reduce
Propiedades deseables en el operador ‘Reduce’
Asociatividad
a ⊕ ( b ⊕ c ) = (a ⊕ b) ⊕ c
Conmutatividad
a⊕b=b⊕a

109. Map-Reduce
Propiedades deseables en el operador ‘Reduce’
Asociatividad
a ⊕ ( b ⊕ c ) = (a ⊕ b) ⊕ c
Conmutatividad
a⊕b=b⊕a
Asociatividad y Conmutatividad

110. Map-Reduce
Propiedades deseables en el operador ‘Reduce’
Asociatividad
a ⊕ ( b ⊕ c ) = (a ⊕ b) ⊕ c
Conmutatividad
a⊕b=b⊕a
Asociatividad y Conmutatividad
a ⊕ ( b ⊕ c ) = (c ⊕ a) ⊕ b

111. Ejemplo de Map-Reduce

112. Ejemplo de Map-Reduce
Problema: contar el número de veces que
aparece una palabra en un documento.

113. Ejemplo de Map-Reduce
Problema: contar el número de veces que
aparece una palabra en un documento.

114. Ejemplo de Map-Reduce
Problema: contar el número de veces que
aparece una palabra en un documento.
map(String name, String document):
for each word w in document:
EmitIntermediate(w, "1")

115. Ejemplo de Map-Reduce
Problema: contar el número de veces que
aparece una palabra en un documento.
map(String name, String document):
for each word w in document:
EmitIntermediate(w, "1")

116. Ejemplo de Map-Reduce
Problema: contar el número de veces que
aparece una palabra en un documento.
map(String name, String document):
for each word w in document:
EmitIntermediate(w, "1")

117. Ejemplo de Map-Reduce
Problema: contar el número de veces que
aparece una palabra en un documento.
map(String name, String document):
for each word w in document:
EmitIntermediate(w, "1")
reduce(String word, Iterator partialCounts):
int sum = 0;
for each count in partialCounts:
sum += parseInt(count)
Emit(word, AsString(sum))

118. Actores

119. Actores
Modelo de programación concurrente

120. Actores
Modelo de programación concurrente
Un actor:

121. Actores
Modelo de programación concurrente
Un actor:
Tiene un estado interno, no compartido.

122. Actores
Modelo de programación concurrente
Un actor:
Tiene un estado interno, no compartido.
Tiene su propio hilo de ejecución (event loop).

123. Actores
Modelo de programación concurrente
Un actor:
Tiene un estado interno, no compartido.
Tiene su propio hilo de ejecución (event loop).
Puede enviar y recibir mensajes a otros actores, de
manera asíncrona.

124. Actores
Modelo de programación concurrente
Un actor:
Tiene un estado interno, no compartido.
Tiene su propio hilo de ejecución (event loop).
Puede enviar y recibir mensajes a otros actores, de
manera asíncrona.
En respuesta a un mensaje, puede:

125. Actores
Modelo de programación concurrente
Un actor:
Tiene un estado interno, no compartido.
Tiene su propio hilo de ejecución (event loop).
Puede enviar y recibir mensajes a otros actores, de
manera asíncrona.
En respuesta a un mensaje, puede:
Cambiar su estado interno.

126. Actores
Modelo de programación concurrente
Un actor:
Tiene un estado interno, no compartido.
Tiene su propio hilo de ejecución (event loop).
Puede enviar y recibir mensajes a otros actores, de
manera asíncrona.
En respuesta a un mensaje, puede:
Cambiar su estado interno.
Enviar mensajes a otros actores.

127. Actores

128. Actores
-module(area_server).
-export([loop/0]).
loop() ->
receive
{From, {rectangle, Width, Ht}} ->
From ! Width * Ht,
loop();
{From, {circle, R}} ->
From ! 3.14159 * R * R,
loop();
Other ->
From ! {error, Other},
loop()
end.

129. Actores
1> Pid = spawn(fun area_server1:loop/0).
<0.36.0>
2> Pid ! {rectangle,6,8}).
48
3> Pid ! {circle,6}).
113.097
4> Pid, socks).
{error,socks}

130. ¿Cuándo utilizar Actores?

131. ¿Cuándo utilizar Actores?
Cuando el problema se preste de manera natural a
descomposición de diferentes tareas concurrentes.

132. ¿Cuándo utilizar Actores?
Cuando el problema se preste de manera natural a
descomposición de diferentes tareas concurrentes.
Cuando se requiere descomponer la aplicación de
tal manera que se permita escalar de manera
diferente a cada parte de la misma.

133. ¿Cuándo utilizar Actores?
Cuando el problema se preste de manera natural a
descomposición de diferentes tareas concurrentes.
Cuando se requiere descomponer la aplicación de
tal manera que se permita escalar de manera
diferente a cada parte de la misma.
Cuando se quiere tener transparencia al escalar
aplicaciones entre un CPU de varios cores a un
cluster de máquinas.

134. Software Transactional
Memory
Ok, es imposible evitar al 100% el estado
mutable.
¿Cómo manejar el estado mutable en
concurrencia de manera segura?
Usar transacciones en memoria para
modificar las referencias mutables.

135. Software Transactional
Memory
(defn deposit [account amount]
(dosync
(let [owner (account :owner)
balance-ref (account :balance-ref)]
(do
(alter balance-ref + amount)
(println “depositing” amount (account :owner))))))

136. Otros modelos
Colecciones paralelas
listOfFiles.par foreach(file => sendToS3(file))
Data Flow
“Cambiar el valor de 1 variable,
automáticamente debería forzar el recálculo
de valores que dependen de dicha variable”.

137. Futuro

138. Futuro
Investigación

139. Futuro
Experiencia
Investigación
con HPC

140. Futuro
Experiencia
Investigación
con HPC
Necesidades
de la Industria

141. "My thesis is that the best way to write parallel
applications is not to have to think about
parallelism, just as the best way to deal with
memory and it's management is not to have to
worry about this management. You have this
garbage collector... let it deal with that"
Guy Steele, 2011

142. Referencias
The Free Lunch is Over. http://j.mp/mL1PMf
How to Think About Parallel Programming: Not!
http://j.mp/jXYNeH
Introduction to Parallel Programming and
MapReduce http:/ /j.mp/pLFVZA
Actors in Scala http://j.mp/plti66
Concepts, Techniques and Models of Computer
Programming. Van Roy & Haridi, 2004. http://
j.mp/m7gYbi