Talk “Advances in Electronic Systems Engineering” seminar, within the M.Sc. in Electronic Systems Engineering (MISE), to present the session on Energy Optimization in Data Centers. Speech title: Energy efficiency beyond PUE: exploiting knowledge about application and resources Abstract: The current techniques for data center energy optimization, based on efficiency metrics like PUE, pPUE, ERE, DCcE, etc., do not take into account the static and dynamic characteristics of the applications and resources (computing and cooling). However, the knowledge about the current state of the data center, the past history, the resource characteristics, and the characteristics of the jobs to be executed can be used very effectively to guide decision-making at all levels in the datacenter in order to minimize energy needs. For example, the allocation of jobs on the available machines, if done taking into account the most appropriate architecture for each job from the energetic point of view, and taking into account the type of jobs that will come later, can reduce energy needs by 30%. Moreover, to achieve significant reductions in energy consumption of state-of-the-art data centers (low PUE) is becoming increasingly important a comprehensive and multi-level approach, ie, acting on different abstraction levels (scheduling and resource allocation, application, operating system, compilers and virtual machines, architecture, and technology), and at different scopes (chip, server, rack, room, and multi-room). Date and Time: Tuesday, October 15, 2013, 16:00, room B-221

1. CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Eficiencia Energética más allá del PUE:
Explotando el Conocimiento de la
Aplicación y los Recursos
José%M.%Moya%<jm.moya@upm.es>%
Laboratorio%de%Sistemas%Integrados%
Dpto.%Ingeniería%Electrónica%
Universidad%Politécnica%de%Madrid%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
1%

2. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Contenido
“Ingeniamos el futuro”!
• MoLvación%
• Enfoque%actual%
• Nuestro%enfoque%
– Planificación%y%gesLón%
de%recursos%
– OpLmización%de%
máquinas%virtuales%
– GesLón%de%modos%de%
bajo%consumo%
– Diseño%de%procesadores%
• Conclusiones%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
2%

3. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Motivación
“Ingeniamos el futuro”!
• Consumo%energéLco%en%data%centers%
– 1.3%%de%la%producción%energéLca%mundial%en%2010%
– USA:%80%mill%MWh/año%en%2011%=%1,5%x%NYC%
– 1%datacenter%medio%=%25%000%casas%
• Más%de%43%Millones%de%Toneladas%de%CO2%/%año%
(2%%mundial)%
• Más%agua%que%la%industria%del%papel,%automóvil,%
petróleo,%%madera%o%plásLco%
%%%%%%%%%%Jonathan%Koomey.%2011.%Growth%in%Data%center%electricity%use%2005%to%2010%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
3%

4. Motivación
CAMPUS OF
INTERNATIONAL
EXCELLENCE
• El%consumo%de%energía%de%la%
refrigeración%conLnuará%
teniendo%una%importancia%
similar%o%superior%al%consumo%
de%la%computación%
• La%opLmización%energéLca%
de%los%data%centers%del%futuro%
requerirá%un%enfoque%global%
y%mulLfdisciplinar.%
35000%
30000%
25000%
Highfend%servers%
20000%
15000%
Midfrange%servers%
10000%
Volume%servers%
5000%
0%
2000%
2005%
2010%
5,75%Millones%de%servidores%nuevos%/%año%
10%%de%servidores%sin%uLlizar%(CO2%de%6,5%
millones%de%coches)%
300%
Electricity%use%%
(billion%kWh/year)%
• Se%espera%que%la%electricidad%
total%uLlizada%por%los%data%
centers%en%2015%exceda%los%
400%GWh/año.%
World%server%installed%base%
(thousands)%
“Ingeniamos el futuro”!
Infrastructure%
250%
CommunicaLons%
200%
150%
Storage%
100%
Highfend%servers%
50%
Midfrange%servers%
0%
2000%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
Volume%servers%
2005%
2010%
4%

5. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Problemas de fiabilidad
que dependen de la temperatura
“Ingeniamos el futuro”!
ElectromigraLon%(EM)%
✔%
✖%
Timefdependent%
dielectricf
breakdown%(TDDB)%
Stress%
migraLon%(SM)%
✖%
✖%
Thermal%
cycling%(TC)%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
5%

6. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Refrigeración de
un data center
“Ingeniamos el futuro”!
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
6%

7. (excluyendo el software)
de los servidores.
$$$$
En un centro de datos convencional, algunas de
estas mejoras pueden reducir su impacto en
Mejoras en servidores las
...........................
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Servidores
10% no se utilizan
• Virtualización%
5,75 millones de nuevos servido% res se instalan cada año para
% mantenerse al ritmo de creci-
siguientes cifras:
Reducir un 27% el consumo
f%27%%
27%
miento de los servicios on-line, y
• Servidores%conforme%a%
todavía aproximadamente el 10%
de los servidores instalados no
Energy%Star%
se utilizan debido a sobrestima% ciones conservadoras a la hora
% de planificar las necesidades de
almacenamiento.
• Mejor%planificación%de%
capacidad%
los servidores en desuso
podría compensar %
La energía utilizada para
las emisiones de 6,5
6,5 millones
energético mediante la virtualización, lo que reduce la capacidad productiva no empleada.
=%6.500%
El equivalente a retirar 6.500
coches de las carreteras, mediante la utilización de servidores
= 6.500
2.500%
acordes a Energy Star, lo que reduciría el consumo eléctrico de
los centros de datos en 82.000
megavatios-hora.
El equivalente a la energía consumida por 2.500
hogares en EEUU, mediante una mejor planifica-
UN%SOLO%
ción de la capacidad.
CENTRO%
DE%DATOS%
A menudo los servidores se sobredimensionan
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
7%
millones de coches.
para afrontar picos de demanda, lo que significa
que como media suelen funcionar sólo al 20%
2.500
US

8. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Mejoras en refrigeración
“Ingeniamos el futuro”!
• Mejoras%en%gesLón%de%flujos%de%aire%y%rangos%
de%temperatura%ligeramente%más%amplios%
Reducción%del%consumo%
hasta%un%
25%%
25.000%
Recuperación%de%la%inversión%%
UN%SOLO%
CENTRO%
DE%DATOS%
2%años%
en%solo%
%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
8%

9. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Mejoras en infraestructura
“Ingeniamos el futuro”!
CA%!%CC%
– 20%%reducción%de%pérdidas%de%conversión%
– 47%millones%de%dólares%de%gastos%
inmobiliarios%por%data%center%
– Mayor%eficiencia,%ahorro%de%energía%suficiente%para%
cargar%un%iPad%durante %
70 millones%de%años%
%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
9%

10. Mejores prácticas de

11. CAMPUS OF
INTERNATIONAL
EXCELLENCE
eficiencia energética
“Ingeniamos el futuro”!

12. José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
10%

13. ot aisle
Potencial de mejora
con mejores prácticas
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Total power (computing and cooling) for various scheduling approaches
max computing power, worst thermal placement
min computing power, worst thermal placemenit
optimal computing+cooling
optimal computing+cooling, shut off idles
optimal computing+cooling, shut off idles, no recirculation
1400
Power (KW)
1200
1000
savings by minimizing computing power
savings by minimizing the recirculation’s effect
savings by turning off idle machines
unaddressed heat recirculation cost
basic (unavoidable) cost
800
600
400
200
0
0
20
40
60
80
100
job size relative to data center capacity (%)
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
11%
Fig. 3. Data center operation cost (in kilowatts) for various “savings
modes”. Savings are based on heat recirculation data obtained by

14. CAMPUS OF
INTERNATIONAL
EXCELLENCE
PUE
Power Usage Effectiveness
“Ingeniamos el futuro”!
1
!!!#$ !!#$%!'( + !!#!$%!'$() + !!#$
!# =
=
=
!
!#$
!!
!!#$%
• Estado%del%arte:%%PUE%≈%1,2%
– La%parte%importante%es%el%consumo%de%computación%
– El%trabajo%en%eficiencia%energéLca%en%DC%está%
centrado%en%la%reducción%del%PUE%
– Reducir%PIT$$no%reduce%el%PUE,%pero%se%nota%en%la%
factura%de%la%luz%
• %¿Cómo%se%puede%reducir%PIT$?%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
12%

15. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Ahorro energético según el
nivel de abstracción
“Ingeniamos el futuro”!
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
13%

16. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Nuestro enfoque
“Ingeniamos el futuro”!
• Estrategia%global%para%permiLr%la%uLlización%de%
múlLples%fuentes%de%información%y%para%coordinar%las%
decisiones%con%el%fin%de%reducir%el%consumo%total%
• ULlización%del%conocimiento%de%las%caracterísLcas%de%
demanda%energéDca%de%las%aplicaciones%y%las%
caracterísDcas%de%los%recursos%de%computación%y%
refrigeración%para%aplicar%técnicas%proacDvas%de%
opLmización%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
14%

17. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Optimización proactiva
“Ingeniamos el futuro”!
Datacenter%
OpLmizaLon%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
Model%
15%

18. Optimización proactiva
CAMPUS OF
INTERNATIONAL
EXCELLENCE
Workload
“Ingeniamos el futuro”!
Communication network
Anomaly Detection
and Reputation
Systems
Dynamic
Cooling Opt.
Resource Alloc.
Opt.
Sensors
Actuators
Sensor
configuration
Sensor network
Datacenter
Workload
Model
Power Model
Global DVFS
Energy Model
VM Opt.
Thermal Model
Visualization
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
16%

19. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Sensores
“Ingeniamos el futuro”!
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
17%

20. Enfoque holístico
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Chip%
Sched%%alloc%
Server%
Rack%
Room%
2%
1%
Compiler/VM%
3%
3%
architecture%
4%
MulDJ
room%
4%
app%
OS/middleware%
technology%
5%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
18%

21. 1. Gestión de recursos
en la sala
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Chip%
Server%
Rack%
Room%
2%
1
Compiler/VM%
3%
3%
architecture%
4%
MulDJ
room%
4%
Sched%%alloc%
app%
OS/middleware%
technology%
5%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
19%

22. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Aprovechando la heterogeneidad
“Ingeniamos el futuro”!
CCGrid 2012
• ULlización%de%la%heterogeneidad%para%minimizar%el%
consumo%energéLco%desde%un%punto%de%vista%
estáLco/dinámico%
– EstáDco:%Encontrar%el%mejor%setfup%del%datacenter,%
dado%un%número%heterogéneo%de%máquinas%
– Dinámico:%OpLmización%de%la%asignación%de%tareas%en%
el%Resource%Manager%
• Demostramos%que%la%mejor%solución%se%encuentra%
en%un%datacenter%heterogéneo%
– Muchos%datacenters%son%heterogéneos%(diversas%
generaciones%de%máquinas)%
M.%Zapater,%J.M.%Moya,%J.L.%Ayala.%Leveraging%Heterogeneity%for%
Energy%MinimizaLon%in%Data%Centers,%CCGrid%2012%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
20%

23. Escenario actual
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
WORKLOAD%
Scheduler%
Resource%%
Manager%
ExecuDon%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
21%

24. 18.41 hr
6.9 ms
6.2%
20.75 hr
213 ms
8.6%
CAMPUS OF
INTERNATIONAL
EXCELLENCE
FCFS-FF
EDF-LRH
20
15
FCFS-FF
EDF-LRH
FCFS-Xint
SCINT
Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers off
40
12.17 hr
397 ms
0.172 jobs/hr
4.1%
20.75 hr
213 ms
8.6%
8.98 hr
40.8 min
0.197 jobs/hr
3.6%
18.41 hr
23 min
8.7%
48.49 hr
88.6 min
0.163 jobs/hr
4.7%
51.75 hr
40 min
10.2%
150
100
100
35
30
energy consumed
energy consumed (GJ) (GJ)
8.98 hr
186 ms
0.197 jobs/hr
1.7%
18.41 hr
6.9 ms
6.2%
Energy consumption, Scenario (a) 40 jobs, 25014 core-hours, idle servers off
cooling energy
computing energy
cooling energy
computing energy
40
35
cooling energy
0.580 jobs/hr 0.580 jobs/hr 0.349 jobs/hr 0.580 jobs/hr energy
computing 0.254 jobs/hr
energy consumed
energy consumed (GJ) (GJ)
FCFS-LRH
(b)
computing energy
30
25
Throughput
Turnaround time
Throughput
Alg. runtime time
Turnaround
Energy savings
Alg. runtime
Energy savings
0.580 jobs/hr
8.98 hr
0.197 jobs/hr
171 ms
18.41 hr
0%
3.4 ms
0.580 jobs/hr
8.98 hr
0.197 jobs/hr
186 ms
18.41 hr
4.0%
6.9 ms
0.349 jobs/hr
12.17 hr
0.172 jobs/hr
397 ms
20.75 hr
14.6%
213 ms
0.580 jobs/hr
8.98 hr
0.197 jobs/hr
42 minhr
18.41
14.2%
23 min
0.427 jobs/hr
17.75 jobs/hr
0.163 hr
100 min
38.02 hr
15.1%
43 min
0%
11.8%
54.7%
21.8%
60.5%
FCFS-FF
FCFS-LRH
EDF-LRH
FCFS-Xint
SCINT
FCFS-FF
(d)
FCFS-LRH EDF-LRH
FCFS-Xint
SCINT
25
20
20
15
15
10
10
5
50
50
5
0
0
FCFS-FF
0
FCFS-FF
FCFS-LRH
EDF-LRH
FCFS-Xint
SCINT
FCFS-LRH EDF-LRH
(c)
FCFS-Xint
SCINT
0
(a)
Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers on
(b)
Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers off
Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers on
cooling energy
Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, energy
cooling idle servers off
computing energy
cooling energy
computing energy
450
Throughput
100
0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.561 jobs/hr
300
196 ms
8.98 hr
186 ms
2.5%
1.7%
346 ms
12.17 hr
397 ms
5.9%
4.1%
20 min
8.98 hr
40.8 min
9.4%
3.6%
142 min
48.49 hr
88.6 min
12.5%
4.7%
250
200
200
150
150
35
energy consumed
energy consumed (GJ) (GJ)
Alg. runtime time 173 ms
Turnaround
8.98 hr
350
Alg. runtime
Energy savings 170 ms
0%
0%
250 Energy savings
computing energy
cooling energy
computing 0.590 jobs/hr
0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr energy
40
400
300 Turnaround time 9.99 hrjobs/hr 9.99 hrjobs/hr 13.39 hr
Throughput
0.580
0.580
0.349 jobs/hr 9.99 hrjobs/hr 65.38 hr
0.580
0.254 jobs/hr
energy consumed
energy consumed (GJ) (GJ)
0.163 jobs/hr
38.02 hr
43 min
60.5%
0
SCINT
cooling idle servers on
Energy consumption, Scenario (a) 40 jobs, 25014 core-hours,energy
200
0.197 jobs/hr
18.41 hr
23 min
21.8%
25
Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers on
Alg. runtime
170 ms
Throughput
Energy savings 0.197 jobs/hr
0%
Turnaround time 18.41 hr
Alg. runtime
3.4 ms
0%
150 Energy savings
0.172 jobs/hr
20.75 hr
213 ms
54.7%
iMPACT Lab (Arizona State U)
FCFS-Xint
(a)
250
0.197 jobs/hr
18.41 hr
6.9 ms
11.8%
5
FCFS-LRH
300 Throughput
200 Turnaround time 8.98 hr
Throughput
0.197 jobs/hr
Turnaround time 18.41 hr
Alg. runtime
3.4 ms
Energy savings
0%
30
10
0
“Ingeniamos el futuro”!
51.75 hr
40 min
10.2%
Planificación y asignación de recursos
consciente de la refrigeración
100
50
18.41 hr
23 min
8.7%
energy consumed (GJ)
energy consumed (GJ)
150
Turnaround time 18.41 hr
Alg. runtime
3.4 ms
Energy savings
0%
100
100
Throughput
Turnaround time 9.99 hr
Alg. runtime
173 ms
Energy savings 0.580 jobs/hr
0.0%
Throughput
9.99 hr
191 ms
7.5%
0.580 jobs/hr
13.39 hr
346 ms
17.3%
0.349 jobs/hr
9.99 hr
21 min
25.7%
0.580 jobs/hr
61.49 hr
147 min
41.4%
0.427 jobs/hr
Alg. runtime
Energy savings
8.98 hr
186 ms
4.0%
12.17 hr
397 ms
14.6%
8.98 hr
42 min
14.2%
17.75 hr
100 min
15.1%
80
30 Turnaround time 8.98 hr
25
60
171 ms
0%
20
40
15
10
20
50
50
5
0
0
FCFS-FF
0
FCFS-FF
FCFS-LRH
EDF-LRH
FCFS-Xint
SCINT
FCFS-LRH EDF-LRH
(e)
FCFS-Xint
SCINT
0
FCFS-FF
FCFS-FF
EDF-LRH
FCFS-Xint
SCINT
FCFS-LRH EDF-LRH
(f)
FCFS-LRH
FCFS-Xint
SCINT
(c)
(d)
Fig. 8. Energy comparison of the simulated schemes for the three scenarios. The plots correspond in respective positions to the plots of Figure 7.
Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers on
Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers off
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
22% energy
computing
450
policy used in the data center, which enables job execution as soon as they arrive if the queue is empty and the data
cooling energy
computing energy
400
Throughput
cooling energy
100
0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.561 jobs/hr
Throughput
0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.590 jobs/hr
Turnaround time 9.99 hr
9.99 hr
13.39 hr
9.99 hr
61.49 hr
Alg. runtime
173 ms
191 ms
346 ms
21 min
147 min
Energy savings
0.0%
7.5%
17.3%
25.7%
41.4%
350
300
Energy savings
0%
9.99 hr
13.39 hr
9.99 hr
65.38 hr
2.5%
5.9%
9.4%
12.5%
(GJ)
(GJ)
center is lightly173 ms
loaded. In the346 ms
“idle-on” case (Figure 8a), the total energy consumption using SCINT, EDF-LRH,
Alg. runtime
196 ms
20 min
142 min
Turnaround time 9.99 hr
80

25. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Planificación y asignación de
recursos consciente de la aplicación
LSI-UPM
“Ingeniamos el futuro”!
Resource%%
Manager%
(SLURM)%
WORKLOAD%
ExecuDon%
Profiling%and%
ClassificaDon%
Energy%%
OpDmizaDon%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
23%

26. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Planificación y asignación de
recursos consciente de la aplicación
Escenario
“Ingeniamos el futuro”!
• Workload:%
– 12%tareas%del%benchmark%SpecCPU%2006%
– Workload%aleatorio%de%2000%tareas,%dividido%en%job%sets%
– Tiempo%de%llegada%aleatorio%entre%job%sets%
• Servidores:%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
24%

27. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Planificación y asignación de
recursos consciente de la aplicación
Profiling de energía
“Ingeniamos el futuro”!
Resource%%
Manager%
(SLURM)%
WORKLOAD%
ExecuDon%
Profiling%and%
ClassificaDon%
Energy%%
OpDmizaDon%
Energy%profiling%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
25%

28. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Caracterización de la
carga de trabajo
“Ingeniamos el futuro”!
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
26%

29. Trabajo realizado
CAMPUS OF
INTERNATIONAL
EXCELLENCE
Optimizaciones
“Ingeniamos el futuro”!
Resource%%
Manager%
(SLURM)%
WORKLOAD%
ExecuDon%
Profiling%and%
ClassificaDon%
Energy%%
OpDmizaDon%
Energy%MinimizaDon:%
• %MinimizaDon%subjected%to%constraints%
• %MILP%problem%(solved%with%CPLEX)%
• %StaDc%and%Dynamic%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
27%

30. CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Planificación y asignación de
recursos consciente de la aplicación
Optimización estática
• Definición%del%datacenter%ópLmo%
–
–
–
–
Dado%un%pool%de%100%máquinas%de%cada%
1%job%set%del%workload%
El%opLmizador%escoge%los%mejores%servidores%
Constraints%de%presupuesto%y%espacio%
Mejor%solución:%
• %40%Sparc%
• %27%AMD%
%
Ahorros:%
• %5%a%22%%en%energía%
• %30%%Dempo%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
28%

31. CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Planificación y asignación de
recursos consciente de la aplicación
Optimización dinámica
• Asignación%ópLma%del%workload%
– Uso%del%workload%completo%(2000%tareas)%
– El%algoritmo%encuentra%una%buena%asignación%(no%la%mejor)%
en%términos%de%energía%
– Ejecución%del%algoritmo%en%runLme%
Ahorros%del%24%%
al%47%%en%energía%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
29%

32. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Planificación y asignación de
recursos consciente de la aplicación
Conclusiones
“Ingeniamos el futuro”!
• Primera%prueba%de%concepto%en%cuanto%a%ahorros%
energéLcos%gracias%a%heterogeneidad%
• Solución%automáLca%
• La%solución%automáLca%de%procesadores%ofrece%
notables%ahorros%energéLcos.%
• La%solución%puede%ser%fácilmente%implementable%en%
un%entorno%real%
– Uso%del%Resource%Manager%SLURM%
– Workloads%y%servidores%más%realistas%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
30%

33. 2. Gestión de recursos
en el servidor
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Chip%
Server%
Rack%
Room%
2
1%
Compiler/VM%
3%
3%
architecture%
4%
MulDJ
room%
4%
Sched%%alloc%
app%
OS/middleware%
technology%
5%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
31%

34. CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Políticas de planificación y
asignación de recursos en MPSoCs
UCSD – System Energy Efficiency Lab
A.%Coskun%,%T.%Rosing%,%K.%Whisnant%and%K.%Gross%%StaLc%and%dynamic%temperaturef
aware%scheduling%for%mulLprocessor%SoCs,%%IEEE%Trans.%Very%Large%Scale%Integr.%Syst.,%%
vol.%16,%%no.%9,%%pp.1127%f1140%2008%%
Fig. Fig.Distribution of thermal hot spots, with with DPM (ILP).
3. 3. Distribution of thermal hot spots, DPM (ILP).
Fig. Fig.Distribution of spatial gradients, with with DPM (ILP).
4. 4. Distribution of spatial gradients, DPM (ILP).
A. Static Scheduling Techniques
A. Static Scheduling Techniques
hot hot spots. While Min-Th reduces the high spatial differentials
spots. While Min-Th reduces the high spatial differentials
We We next provide extensive comparison of the the ILP based above 15 we we observe a substantial increasethe the spatial
next provide an an extensive comparison of ILP based above 15 C, C, observe a substantial increase in in spatial
techniques. refer to to static approach as as Min-ThSp. gradients above C. C. In contrast, method achieves lower
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
our
techniques. We We refer our our static approach Min-ThSp. gradients above 10 10 In contrast,32% our method achieves lower
As discussed in Section we implemented the ILP for min- and more balanced temperature distribution in in die.
As discussed in Section III, III, we implemented the ILP for min- and more balanced temperature distributionthe the die.
In 5, we we show how the magnitudes of thermal cycles vary
imizing thermal spots (Min-Th), energy balancing (Balimizing thermal hot hot spots (Min-Th), energy balancing (Bal- In Fig.Fig. 5, show how the magnitudes of thermal cycles vary
En), and energy minimization (Min-En) to compare against with the scheduling method. We demonstrate the average per-

35. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Planificación y asignación de
recursos consciente de la aplicación
“Ingeniamos el futuro”!
• La%caracterización%energéLca%de%las%
aplicaciones%permite%la%definición%de%políLcas%
proacLvas%de%planificación%y%asignación%de%
recursos%que%minimizan%los%hotspots
• La%reducción%de%hotspots%permite%aumentar%la%
temperatura%del%aire%de%los%sistemas%de%
refrigeración%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
33%

36. CAMPUS OF
INTERNATIONAL
EXCELLENCE
3. Máquina virtual consciente
de la aplicación y los recursos
“Ingeniamos el futuro”!
Chip%
Sched%%alloc%
Server%
Rack%
Room%
2%
1%
Compiler/VM%
3
3
architecture%
4%
MulDJ
room%
4%
app%
OS/middleware%
technology%
5%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
34%

37. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Compilación JIT en
máquinas virtuales
“Ingeniamos el futuro”!
• La%máquina%virtual%
compila%(JIT)%la%
aplicación%a%código%
naLvo%por%eficiencia%
• El%opLmizador%es%
genérico%y%orientado%a%
la%opDmización%de%
rendimiento%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
35%

38. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Compilación JIT para
reducción de energía
“Ingeniamos el futuro”!
Backfend%
Frontfend%
OpLmizador%
Generador%de%
código%
• Compilador%consciente%de%la%aplicación%
– Caracterización%de%aplicaciones%y%transformaciones%
– OpLmizador%dependiente%de%la%aplicación%
– Visión%global%de%la%carga%de%trabajo%del%data%center%
• OpLmizador%de%energía%
– En%la%actualidad,%los%compiladores%para%procesadores%
de%altas%prestaciones%solo%opLmizan%rendimiento%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
36%

39. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Potencial de ahorro desde
el compilador (MPSoCs)
“Ingeniamos el futuro”!
T.%Simunic,%G.%de%Micheli,%L.%Benini,%and%M.%Hans.%“Source%code%opLmizaLon%and%
profiling%of%energy%consumpLon%in%embedded%systems,”%InternaLonal%Symposium%on%
System%Synthesis,%pages%193%–%199,%Sept.%2000%
– Reducción%de%un%77%%%de%energía%en%un%
decodificador%MP3%
FEI,%Y.,%RAVI,%S.,%RAGHUNATHAN,%A.,%AND%JHA,%N.%K.%2004.%EnergyfopLmizing%source%
code%transformaLons%for%OSfdriven%embedded%so{ware.%In%Proceedings%of%the%
InternaLonal%Conference%VLSI%Design.%261–266.%
– Hasta%el%37,9%%(media%23,8%)%de%ahorro%
energéLco%en%programas%mulLproceso%sobre%
Linux%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
37%

40. 4. Gestión automática de
frecuencia a nivel global
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Chip%
Sched%%alloc%
Server%
Rack%
Room%
2%
1%
Compiler/VM%
3%
3%
architecture%
4
MulDJ
room%
4
app%
OS/middleware%
technology%
5%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
38%

41. CAMPUS OF
INTERNATIONAL
EXCELLENCE
DVFS – Dynamic Voltage
and Frequency Scaling
“Ingeniamos el futuro”!
• Al%decrementar%la%tensión%de%alimentación,%la%
potencia%se%reduce%cuadráLcamente%(a%
frecuencia%constante)%
• El%retardo%se%incrementa%solo%linealmente%
• La%frecuencia%máxima%también%se%decrementa%
linealmente%
• Actualmente%los%modos%de%bajo%consumo%se%
acLvan%por%inacLvidad%del%sistema%operaLvo%
de%un%servidor%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
39%

42. CAMPUS OF
INTERNATIONAL
EXCELLENCE
DVFS a nivel de sala
“Ingeniamos el futuro”!
• Para%minimizar%el%consumo%hay%que%minimizar%
los%cambios%de%modo%
• Existen%algoritmos%ópLmos%para%un%conjunto%
conocido%de%tareas%(YDS)%
• El%conocimiento%de%la%carga%de%trabajo%
permite%planificar%los%modos%de%bajo%consumo%
a%nivel%global%sin%pérdida%de%rendimiento%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
40%

43. Paralelismo para ahorrar
energía
Use of Parallelism
CAMPUS OF
INTERNATIONAL
EXCELLENCE
“Ingeniamos el futuro”!
Vdd
fmax
Swiss Federal
Institute of Technology
Vdd/2
fmax/2
9-17
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
Vdd/2
fmax/2
Computer Engineering
and Networks Laboratory
41%

44. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Resultados de simulación
“Ingeniamos el futuro”!
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
42%

45. CAMPUS OF
INTERNATIONAL
EXCELLENCE
5. Emplazamiento de cores
consciente de la temperatura
“Ingeniamos el futuro”!
Chip%
Sched%%alloc%
Server%
Rack%
2%
Room%
MulDJ
room%
1%
app%
OS/middleware%
Compiler/VM%
3%
architecture%
technology%
4%
4%
5
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
43%

46. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Floorplanning consciente
de la temperatura
“Ingeniamos el futuro”!
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
44%

47. Temperature Reductions
Average MaxTemp reduction: 12 oC
Potencial de ahorro
Larger temperature reductions for benchmarks
energético
with higher maximum temperature por floorplaning
CAMPUS OF
INTERNATIONAL
EXCELLENCE
For many benchmarks, temperature reducions are
“Ingeniamos el futuro”!
Y.%Han,%I.%Koren,%and%C.%A.%Moritz.%Temperature%Aware%Floorplanning.%In%Proc.%of%the%%
larger than 20 oC
Second%Workshop%on%TemperaturefAware%Computer%Systems,%June%2005%
original
Maximum Temperature
140
modified
120
100
80
60
40
avg
wupwise
vpr
vortex
twolf
perlbmk
parser
mgrid
mesa
mcf
lucas
gzip
gcc
gap
fma3d
facerec
equake
eon
crafty
bzip2
art
apsi
applu
ammp
0
swim
20
– Reducciones%de%temperatura%máxima%de%hasta%21oC%
– Media:%f12oC%en%temperatura%máxima%
– Mayor%reducción%en%los%casos%más%críLcos%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
45%

48. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Floorplanning consciente de la
temperatura en chips 3D
“Ingeniamos el futuro”!
• El%circuito%integrado%3D%está%recibiendo%
atención:%
– ↑%↑% %Escalado:%reduce%área%2D%equivalente%
– ↑%↑% %Rendimiento:%menor%longitud%de%
comunicaciones%
– ↑ %Fiabilidad:%menor%cableado%
%
• Desventaja:%
– Aumentan$drás3camente$los$picos$de$
temperatura$con$respecto$a$los$diseños$2D$
equivalentes$
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
46%

49. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Floorplanning consciente
de la temperatura
“Ingeniamos el futuro”!
• Reducción%de%hasta%30oC%por%capa%en%un%chip%
3D%de%4%capas%y%48%cores%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
47%

50. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Y todavía hay más
“Ingeniamos el futuro”!
• Smart%Grids%
– Consumir%cuando%nadie%consume%
– Reducir%el%consumo%cuando%todo%el%mundo%
consume%
• Reducción%de%la%factura%de%luz%
– Coste%dependiente%del%horario%
– Coeficiente%de%energía%reacLva%
– Picos%de%consumo%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
48%

51. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Conclusiones
“Ingeniamos el futuro”!
• Reducir%el%PUE%no%es%lo%mismo%que%reducir%el%consumo%
– El%consumo%de%computación%es%dominante%en%data%centers%
modernos%
• El%conocimiento%de%la%aplicación%y%de%los%recursos%puede%
ser%uLlizado%para%establecer%políDcas%proacDvas%para%
reducir%la%energía%total%
– A%todos%los%niveles%
– En%todos%los%ámbitos%
– Considerando%simultáneamente%computación%y%refrigeración%
• La%gesLón%adecuada%del%conocimiento%del%comportamiento%
térmico%del%data%center%permite%reducir%los%problemas%de%
fiabilidad%
• Reducir%el%consumo%total%no%es%lo%mismo%que%reducir%la%
factura%de%la%luz%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
49%

52. CAMPUS OF
INTERNATIONAL
EXCELLENCE
Contacto
“Ingeniamos el futuro”!
José M. Moya
Laboratorio de Sistemas Integrados
+34%607%082%892%
jm.moya@upm.es%
%
Gracias:%
José%M.Moya%|%%Madrid,%15%de%octubre%de%2013%
50%