O documento introduz conceitos de computação de alto desempenho, incluindo por que é importante, tipos de paralelismo, modelos de computação como memória compartilhada e distribuída, e exemplos de frameworks como OpenMP. Resume ainda leituras adicionais sobre o tópico.

1. Introdução à Computação de Alto
Desempenho
Vinícius Alves Hax
Sistemas Distribuídos - FURG
Setembro de 2012

2. Sobre mim
Engenheiro de Computação
Especialista em Aplicações para a Web
Aluno Mestrado Engenharia de
Computação
Analista de Tecnologia de Informação (FURG)
Empreendedor (Zetaflops)
Interesses: Software Livre, Linux, Metodologias
Ágeis, Rails, Computação de Alto Desempenho,
Internet das Coisas, Governo Eletrônico, Web
2

3. Roda em um único
Tradicionalmente como computador com um único
software é escrito: processador
O problema é decomposto
em uma série de operações
discretas
Instruções são executadas
uma após outra
Apenas uma instrução
executa a cada momento
3

4. Por que a Computação de Alto Desempenho é
importante?
4

5. Tempo e espaço !
5

6. Meteorologia
6

7. Biologia Computacional
7

8. Entretenimento
8

9. Mas os computadores não ficam cada vez mais
rápidos?
9

10. Lei de Moore (1965)
10

11. Lei de Moore (1965)
Estamos próximos do limite físico do transistor...
11

12. Computação paralela!
12

13. Taxonomia de Flynn
●SISD: Computadores com núcleo único
●SIMD: Instruções SSE, MMX, Processadores
vetoriais
●MISD: Redundância (pouco comuns)
●MIMD: Computadores com múltiplos núcleos
13

14. Tipos de paralelismo
Bit-level (ex: tamanho dos processadores)
Instruction Level (ILP): ex: pipeline)
Data paralelism: divisão dos dados
Task paralelism: divisão por tarefas
14

15. Tipos de paralelismo de dados
Taxa de computação por
comunicação
Fine-grain
Coarse-grain
15

16. Modelos de computação
Memória compartilhada
OpenMP
Threads (Pthreads)
OpenCL
Memória distribuída
MPI
16

17. Exemplo OpenMP
#include <omp.h>
#define CHUNKSIZE 100
#define N 1000
main () {
int i, chunk;
float a[N], b[N], c[N];
/* Some initializations */
for (i=0; i < N; i++)
a[i] = b[i] = i * 1.0;
chunk = CHUNKSIZE;
#pragma omp parallel shared(a,b,c,chunk) private(i) {
#pragma omp for schedule(dynamic,chunk) nowait
for (i=0; i < N; i++)
c[i] = a[i] + b[i];
} /* end of parallel section */
}
17

18. Arq. de Memória – Memória Compartilhada
18

19. Arq. de Memória – Memória Distribuída
19

20. Arq. de Memória - Híbrida
20

21. Leituras adicionais e referências
http://en.wikipedia.org/wiki/Parallel_computers
https://computing.llnl.gov/tutorials/parallel_comp/
https://computing.llnl.gov/tutorials/openMP/
21

22. Fontes das imagens
http://previsaonumerica.cptec.inpe.br/golMapWeb/DadosPages?id=Eta15#
http://en.wikipedia.org/wiki/Protein_folding
http://www.imdb.com/title/tt0435761/
http://pt.wikipedia.org/wiki/Lei_de_Moore
http://users.cis.fiu.edu/~prabakar/cda4101/Common/notes/lecture03.html
22