Computação Paralela - Uma Abordagem Geral

Computação ParalelaComputação Paralela
MSc. Igor José Ferreira de Freitas
igorj@dmo.fee.unicamp.br
Analista de Sistemas – Orbisat
Doutorando em Eng. Elétrica
Faculdade de Eng. Elétrica e Computação / UNICAMP
Prof. Ciências da Computação / Sistemas de Informação
Universidade Anhanguera - Campinas
Uma Abordagem GeralUma Abordagem Geral

Computação Paralela - igorj@dmo.fee.unicamp.br 2
AgendaAgenda

Introdução

Conceitos

Tecnologias e Ferramentas

Pesquisas & Aplicação

Conclusão

IntroduçãoIntrodução
MotivaçãoMotivação

Busca por maior desempenho;

Aplicações intrinsecamente paralelas;

Alto custo dos supercomputadores tradicionais;

Desenvolvimento de redes de computadores de alta
velocidade;

Resolução de sistemas de grande porte.

ConceitosConceitos
ConcorrênciaConcorrência
 Concorrência em:
− Sistemas Operacionais ModernosSistemas Operacionais Modernos
 Suporte a multitarefa
 Aproveitamento do processamento
 Concorrência com um ou mais “cores”
 Uso de “pipes” em UNIX systems
 Foco na robustez e garantia de execução
 A concorrência é inerente ao SO


Concorrência em:
− Programas ParalelosProgramas Paralelos

Encontrar a concorrência é o desafio!

Troca de mensagens entre os processos

O foco é: performance

Minimizar o tempo de processamento de
um processo
ConceitosConceitos
ConcorrênciaConcorrência

ConceitosConceitos
Concorrência vs ParalelismoConcorrência vs Paralelismo
Todos os programasTodos os programas
Programas ConcorrentesProgramas Concorrentes
Programas ParalelosProgramas Paralelos

ConceitosConceitos
Definições importantesDefinições importantes

ParalelismoParalelismo GeométricoGeométrico:: o conjunto de dados é
dividido e cada processador executa uma cópia do
programa em seu conjunto de dados.

ParalelismoParalelismo “Processor“Processor Farm”Farm”:: Processador
mestre que supervisiona um grupo de
processadores escravos.

Paralelismo PipelineParalelismo Pipeline:: A aplicação é dividida em
tarefas específicas que são distribuídas aos
processadores de forma pipeline.

ConceitosConceitos

Paralelismo:Paralelismo: Uso simultâneo de dois ou mais
processadores para resolver um problema de forma
mais rápida que processamento sequencial.
float a = E + A;
float b = E + A;
float c = E + C;
float d = E + D;
float r = a + b + c + d;

ConceitosConceitos
TaxonomiaTaxonomia

Taxonomia de Flynn
− Single Instruction, Single Data - SISDSingle Instruction, Single Data - SISD

Uma instrução processa um único
dado

Modelo von Neumann

ConceitosConceitos
TaxonomiaTaxonomia
• Single Instruction, Multiple Data – SIMDSingle Instruction, Multiple Data – SIMD
• Uma instrução, multiplos dados
• Cada processador executa a mesma instrução, porém,
em dados diferentes
• Requer pouca comunicação
entre os processos, ideal para:
 Processamento de Sinais

ConceitosConceitos
TaxonomiaTaxonomia
 Multiple Instruction, Single Data - MISDMultiple Instruction, Single Data - MISD
− Múltiplas instruções, único dado
− Arquitetura não aplicável
 Multiple Instruction, Multiple Data – MIMDMultiple Instruction, Multiple Data – MIMD
− Múltiplas instruções, múltiplos dados
− Cada unidade de processamento processa sua unidade de
informação
− Arquitetura mais utilizada

ConceitosConceitos
TaxonomiaTaxonomia

ConceitosConceitos
TaxonomiaTaxonomia

Multiple Instruction, Multiple Data – MIMD pode serMultiple Instruction, Multiple Data – MIMD pode ser
classificado de acordo com a organização de memória:de acordo com a organização de memória:

Memória compartilhadaMemória compartilhada
− Todos os processos compartilham um único espaço
de memória
− Comunicação através de escrita e leitura de variáveis
compartilhadas
− SMPs – Symmetric MultiprocessorsSMPs – Symmetric Multiprocessors

Fácil programação

Overhead na comunicação entre processador
e memória

ConceitosConceitos
TaxonomiaTaxonomia

Não escalável pois quanto mais processadores,Não escalável pois quanto mais processadores,
mais overhead de comunicaçãomais overhead de comunicação

ConceitosConceitos
TaxonomiaTaxonomia - Tipos de MIMD- Tipos de MIMD

NUMA – Nonuniform Memory Access ou Cache-coherentNUMA – Nonuniform Memory Access ou Cache-coherent
NUMANUMA
− Memória compartilhada e acessada por todas as
unidades de processamento, porém:
− Alguns blocos de memória estão fisicamente
associados com outras unidades de processamento
− Reduz overhead, aumenta escalabilidade
− Problemas: pode reduzir tempo de resposta aos dados

Cache minimiza o delayCache minimiza o delay

ConceitosConceitos
TaxonomiaTaxonomia

Ilustração da arquitetura NUMAIlustração da arquitetura NUMA

ConceitosConceitos
TaxonomiaTaxonomia

Memórias distribuídasMemórias distribuídas
- Cada processo tem seu próprio espaço de memória- Cada processo tem seu próprio espaço de memória
- Comunicação via “Message Passing”- Comunicação via “Message Passing”
- Arquitetura de comunicação define velocidade no acesso- Arquitetura de comunicação define velocidade no acesso
a dadosa dados

ConceitosConceitos
TaxonomiaTaxonomia

Memórias distribuídas:Memórias distribuídas:
− MPP – Massively Parallel Processors
− Clusters

MPP:MPP:
− Processadores e Infra-estrutura de Rede estão
fortemente acoplados
− Altamente escalável
− Milhares de processadores em um único sistema

ConceitosConceitos
TaxonomiaTaxonomia

ClustersClusters
− Composto de PCs X86, AMD64 em infra-estrutura
de rede “comum” Ethernet Gigabit, Fibra Óptica
− PCs com Linux são chamados de Beowulf Clusters
− Reaproveitamento de Máquinas

Sistemas Híbridos:Sistemas Híbridos:
− Clusters em diferentes locais
− Cada Cluster possui doi ou mais processadores com
memória compartilhada

GridsGrids
− Sistemas distribuídos, heterogêneos

ConceitosConceitos
TaxonomiaTaxonomia

GridsGrids
− Sistemas distribuídos
− Recursos Heterogêneos
− Conectados via LANS ou WANS
− Multiplica poder de supercomputadores
− Compartilhar recursos através de Middleware

Armazenamento

Processamento

Instrumentos

Outros

ConceitosConceitos
Ambientes de Programação ParalelaAmbientes de Programação Paralela

Abstração do hardware paralelo

Visão em ferraments, ambiente de programação e APIs

Devido a inúmeras linguagens e ambientes houve uma
padronização:
− OpenMP para Memória Compartilhada
− MPI para Memória Distribuída

OpenMPOpenMP
− Diretiras de compilação
− Apropriado para SMPs
− C, C++ e Fortran
− Paralelismo em Código Sequencial

ConceitosConceitos

MPI – Message Passing InterfaceMPI – Message Passing Interface
− Biblioteca com rotinas para troca de mensagens
− Gerenciamento de processos
− Difícil de programar
− Memória distribuída

Arquitetura HíbridaArquitetura Híbrida
− MPI + OpenMP
− Múltiplos Nós (MPI) sendo que cada Nó pode
possuir dois ou mais processadores e aplicar
diretivas OpenMP

ConceitosConceitos
• MPI 2.0
• Criação dinâmica de
processos
• I/O paralelo
• One-sided communication
• Leitura e escrita
transparente para o
programador,
independente de outros
processos

ConceitosConceitos

TarefaTarefa
− Sequência de instruções processadas em um
bloco
− Este bloco corresponde a uma parte de um
algoritmo
− O primeiro passo para desenvolver um
sistema parelo é pensar nas tarefas que este
terá

ConceitosConceitos
Unidade de ExecuçãoUnidade de Execução

Cada tarefa deverá ser executada em uma UE

UE = Processo ou Thread

ProcessoProcesso: conjunto de recursos para execução de
instruções,
- I/O
- Pilha de execução
- Gerenciadores de sinais
- IDs de usuários e grupos e controle de acesso

Thread:Thread: Associada a um processo onde cada uma divide
os recursos deste processo

ConceitosConceitos

Unidade de Processamento (UP):Unidade de Processamento (UP):
− Elemento de hardware que processa um conjunto
de dados
− Depende do contexto, exemplos:

Clusters: cada PC (nó) é uma UP

Em cada PC, em que aplica-se SMP, cada
Processador é uma UP

Load Balancing:Load Balancing:
− Tarefas mapeada em UE, UE mapeadas em UPTarefas mapeada em UE, UE mapeadas em UP
− Distribuição inteligente de carga (processamento)Distribuição inteligente de carga (processamento)

ConceitosConceitos

Race conditionsRace conditions
- Erro comum em programas paralelos
- Ocorre quando a saída de um programa sofre alterações
devido a mudanças de alocação nas UE
- Erro mais conhecido como “Alocação não controlada de
Threads”
- Mesmo programa provê resultados diferentes rodando
no mesmo ambiente e com os mesmos dados
- Causados por erros de sincronização em ambientes de
memória compartilhada

ConceitosConceitos

DeadlocksDeadlocks
- Ocorre quando duas ou mais tarefas entram em um ciclo
de dependência no qual cada tarefa depende da outra
para finalizar uma instrução.
Exemplo:
- Tarefa A espera uma mensagem
da Tarefa B para continuar sua
execução, enquanto que, a Tarefa
B espera uma resposta da Tarefa
A para continuar sua execução.

Tecnologias e Ferramentas

Modelo de memória compartilhadaModelo de memória compartilhada
− Posix threadsPosix threads
− Win32 threadsWin32 threads
− JavaJava
− OpenMPOpenMP

Tecnologias e FerramentasTecnologias e Ferramentas

Modelo de memória distribuídaModelo de memória distribuída
- Message Passing Interface – MPI- Message Passing Interface – MPI

Programação GPUProgramação GPU
- OpenCL – AMD e Khronos Group- OpenCL – AMD e Khronos Group
- CUDA – Nvidia- CUDA – Nvidia
- ATI Stream- ATI Stream

Arquitetura heterogêneaArquitetura heterogênea
- IBM Cell- IBM Cell
- OpenCL – AMD e Khronos Group- OpenCL – AMD e Khronos Group
- AMD Fusion- AMD Fusion
- Intel Sandy Bridge Architecture- Intel Sandy Bridge Architecture

Computação Comercial – GPU Banco de Dados

Programação GPU aplicada a Banco de DadosProgramação GPU aplicada a Banco de Dados
- Área de altos investimentos- Área de altos investimentos
- Ótimas oportunidades- Ótimas oportunidades
- Buscas em banco de dados gigantescos requer milhões de- Buscas em banco de dados gigantescos requer milhões de
registros por segundoregistros por segundo
- Oracle e Universidade de- Oracle e Universidade de
Califórnia, EUACalifórnia, EUA
desenvolvem pesquisas emdesenvolvem pesquisas em
DB GPUDB GPU

Computação Comercial – GPU Banco de DadosComputação Comercial – GPU Banco de Dados

VantagensVantagens
− GPU pode oferecer Teraflops (um trilhão de operações porGPU pode oferecer Teraflops (um trilhão de operações por
segundo) de poder computacionalsegundo) de poder computacional
− Menor consumo que CPUsMenor consumo que CPUs
− Até 30x mais poder computacional que CPUsAté 30x mais poder computacional que CPUs
− Estão sendo desenvolvidos uma variedades de algoritmosEstão sendo desenvolvidos uma variedades de algoritmos
paralelo de busca para GPUsparalelo de busca para GPUs

Desvantagens (desafios)Desvantagens (desafios)
− Latência de transferência entre PC e GPULatência de transferência entre PC e GPU
− Nem todo problema é “paralelizável”Nem todo problema é “paralelizável”

Pesquisas & AplicaçãoPesquisas & Aplicação
Processamento de Sinais - RADARProcessamento de Sinais - RADAR

Radar (Radio Detection and Range)Radar (Radio Detection and Range)
− Detectar objetos a longas distâncias através daDetectar objetos a longas distâncias através da
reflexão de ondas eletromagnéticasreflexão de ondas eletromagnéticas

Composição de um RadarComposição de um Radar
− AntenaAntena
− Hardware de Radio Frequência (transmissão eHardware de Radio Frequência (transmissão e
recepção)recepção)
− ProcessamentoProcessamento
− VisualizaçãoVisualização

Processamento de Sinais - RADARProcessamento de Sinais - RADAR

ProcessamentoProcessamento
− Dependendo do porte do Radar faz-se necessário umaDependendo do porte do Radar faz-se necessário uma
arquitetura híbrida:arquitetura híbrida:

FPGAFPGA

GPUsGPUs

Arquitetura RISC e/ou CISCArquitetura RISC e/ou CISC
− Por que?Por que?

Alta quantidade de dadosAlta quantidade de dados

Tempo realTempo real

Flexibilidade e ControleFlexibilidade e Controle

Simulação Eletromagnética para Desenvolvimento deSimulação Eletromagnética para Desenvolvimento de
CelularesCelulares

Dissertação de Mestrado – Parceria entreDissertação de Mestrado – Parceria entre
UNICAMP/FEEC/DMO e CPqD. Apoio da CAPESUNICAMP/FEEC/DMO e CPqD. Apoio da CAPES
Freitas, Igor José Ferreira, Simulador eletromagnético em um
ambiente de grades computacionais - Campinas, SP: 2010.
Dissertação de Mestrado - Universidade Estadual de Campinas,
Faculdade de Engenharia Elétrica e de Computação.

Objetivos:Objetivos:
− Pré-processamento (modelagem geométrica)Pré-processamento (modelagem geométrica)
− Simulação sequencial e paralelaSimulação sequencial e paralela
− Pós-processamento (visualização de resultados)Pós-processamento (visualização de resultados)
− Avaliar SAR – Índice de Absorção Específica, RadiaçãoAvaliar SAR – Índice de Absorção Específica, Radiação
Não-IonizanteNão-Ionizante

Simulação Eletromagnética para Desenvolvimento de CelularesSimulação Eletromagnética para Desenvolvimento de Celulares

Pré-processamentoPré-processamento
− Dividido em módulos:Dividido em módulos:

ModelagemModelagem

Gerador de malhaGerador de malha

Envio para processamentoEnvio para processamento

CelularesCelulares
Fluxo doFluxo do
SoftwareSoftware
SAR-BRSAR-BR

Ambiente de trabalho – JAVA + OpenGL + C++Ambiente de trabalho – JAVA + OpenGL + C++

CelularesCelulares
Modelagem – Etapa de Pré-ProcessamentoModelagem – Etapa de Pré-Processamento

Esquema de GRID para Processamento Sequencial e/ou ParaleloEsquema de GRID para Processamento Sequencial e/ou Paralelo

Pós-processamento – Análise de ResultadosPós-processamento – Análise de Resultados

Validação dos resultados:Validação dos resultados:
•Considerar as medições feitas no laboratório de ensaios
para radiações não ionizantes do CpqD
•Comparar com os valores obtidos nas simulações realizadas
com o software.
• A variação aceita entre esses resultados de SAR é de 25%.
• Os procedimentos de medição experimental e as
simulações seguem as especificações do padrão IEEE 1528

Validação do Software em Experimento Laboratorial - CPqDValidação do Software em Experimento Laboratorial - CPqD

- Alguns resultados- Alguns resultados
- 4mm da base- 4mm da base- 2mm da base- 2mm da base

Superfície SAR - LaboratórioSuperfície SAR - Laboratório Superfície SAR - SimuladaSuperfície SAR - Simulada
- Alguns resultados- Alguns resultados

Conclusões
Paralelismo ComputacionalParalelismo Computacional
- Paralelismo é utilizado em várias áreas da Computação- Paralelismo é utilizado em várias áreas da Computação
- Entretenimento- Entretenimento
- Indústria- Indústria
- Pesquisa- Pesquisa
- Empresas- Empresas
- Academia- Academia
- Antes de utilizar Paralelismo analisar:- Antes de utilizar Paralelismo analisar:
- O problema a ser solucionado é grande suficiente?- O problema a ser solucionado é grande suficiente?
- O esforço de paralelizá-lo seria justificável?- O esforço de paralelizá-lo seria justificável?
- Este é passível de concorrência e paralelismo?- Este é passível de concorrência e paralelismo?

Conclusões
- Devido ao avanço tecnológico temos o surgimento de- Devido ao avanço tecnológico temos o surgimento de
Ambientes ParalelosAmbientes Paralelos
- Facilitam a vida do Desenvolvedor- Facilitam a vida do Desenvolvedor
- Permitem um avanço na solução de problemas com alto- Permitem um avanço na solução de problemas com alto
custo x benefíciocusto x benefício
- Em contrapartida:- Em contrapartida:
- Desenvolvedores precisam se familiarizar com este- Desenvolvedores precisam se familiarizar com este
paradigmaparadigma

Dúvidas?
Muito obrigado!
Contato:Contato:
igorj@dmo.fee.unicamp.brigorj@dmo.fee.unicamp.br
Skype:Skype:
noldorjnoldorj

Computação Paralela - Uma Abordagem Geral

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (18)

Similaire à Computação Paralela - Uma Abordagem Geral

Similaire à Computação Paralela - Uma Abordagem Geral (20)

Plus de Igor José F. Freitas

Plus de Igor José F. Freitas (6)

Computação Paralela - Uma Abordagem Geral