SlideShare une entreprise Scribd logo
1  sur  37
Télécharger pour lire hors ligne
Estimando o Valor de uma Grade entre Pares
 para a Execu¸˜o de Aplica¸˜es do Tipo Saco de
             ca           co
                    Tarefas

 Edigley Fraga                        Francisco Brasileiro                 Dalton Serey
( edigley@lsd.ufcg.edu.br )              ( fubica@dsc.ufcg.edu.br )     ( dalton@dsc.ufcg.edu.br )



                              Universidade Federal de Campina Grande
                              Departamento de Sistemas e Computa¸˜oca
                                Laborat´rio de Sistemas Distribu´
                                       o                        ıdos
                                       Campina Grande - PB

                                          03 de junho de 2011
Aplica¸oes do Tipo Saco de Tarefas
      c˜

      Bag-of-Tasks ( BoT)

      Simples, mas uteis em diversas situa¸˜es
                   ´                      co
          varredura de parˆmetros
                          a
          pesquisas massivas
          simula¸˜es
                co

      Para v´rias ´reas
            a     a
          data mining
          modelagem financeira
          biologia computacional
          matem´tica
                 a
          computa¸˜o gr´fica
                   ca   a

      Representam boa parte da demanda de e-Science
Recursos Ociosos
Grade entre Pares
Computa¸˜o na Nuvem (IaaS)
       ca
Problema e Caminho para Solu¸˜o
                            ca


   Defini¸˜o do problema
        ca
   A despeito do amplo uso, existe uma dificuldade de quantificar, do
   ponto de vista do usu´rio, o valor fornecido por uma grade entre
                        a
   pares.

   Caminho para a solu¸˜o
                      ca
   Como em IaaS tudo tem um custo associado...
            Estimar o valor da grade como proporcional ao montante que
            os usu´rios, ao utiliz´-la, deixam de gastar com provedores de
                  a               a
            IaaS.
Abordagem Seguida




      Analisar comparativamente a execu¸˜o de aplica¸˜es BoT em
                                       ca           co
      um ambiente de grade entre pares e sobre IaaS, considerando
      os fatores custo e makespan.
Metodologia de Compara¸˜o
                      ca


           Simula¸˜o1 guiada por traces gerados sinteticamente
                 ca

           Uma mesma carga de trabalho em uma grade entre pares e na
           nuvem
               1. Recursos Locais + Recursos Remotos
               2. Instˆncias obtidas do provedor de IaaS
                      a
                           Modelo Spot Instances


           Caracteriza¸˜o
                      ca
                   Demanda
                   Oferta
                   Volatilidade
  1
      http://redmine.lsd.ufcg.edu.br/projects/show/oursim
Caracteriza¸˜o
           ca

                                 Grade entre Pares         Provis˜o de IaaS
                                                                  a
       Demanda                    Gera¸˜o sint´tica da carga de trabalho (7 dias)
                                       ca      e
       Oferta                    10 a 150 peers, 30 Limite              de    100
                                 m´quinas por peer. m´quinas por usu´rio,
                                   a                         a               a
                                 Distribui¸˜o da ca- 8 configura¸˜es de
                                          ca                              co
                                 pacidade de CPU de CPU diferentes (Nos
                                 m´quinas pertencentes moldes do Amazon
                                   a
                                 a diferentes sites da EC2 2 )
                                 comunidade OurGrid 1 :
                                 ∼ N(2, 4; 0, 5)
       Volatilidade              An´lise do padr˜o de 8 s´ries hist´ricas com
                                    a             a            e        o
                                 disponibilidade em 4 as oscila¸˜es de pre¸o
                                                                     co         c
                                 sites OurGrid             por instˆncia
                                                                   a
   1
       http://www.ourgrid.org/
   2
       http://aws.amazon.com/ec2/
Capacidade Computacional das M´quinas da Nuvem
                              a



               Fam´
                  ılia               Tipo             CPU1

                                 m1.small             1   x   1.1
               Standard          m1.large             2   x   2.2
                                 m1.xlarge            4   x   2.2
                                 c1.medium            2   x   2.8
              High-CPU
                                 c1.xlarge            8   x   2.8
                                 m2.xlarge            2   x   3.6
             High-Memory         m2.2xlarge           4   x   3.6
                                 m2.4xlarge           8   x   3.6
                     1
                         Em n´mero de n´cleos x GHz
                             u         u
Custo das M´quinas da Nuvem
           a



                                                     Pre¸o por hora (em USD) 2
                                                        c
     Fam´
        ılia           Tipo            CPU1
                                                        Spot        On-Demand
                 m1.small              1   x   1.1           0.030        0.085
     Standard    m1.large              2   x   2.2           0.124        0.340
                 m1.xlarge             4   x   2.2           0.250        0.680
                 c1.medium             2   x   2.8           0.059        0.170
    High-CPU
                 c1.xlarge             8   x   2.8           0.240        0.680
                 m2.xlarge             2   x   3.6           0.170        0.500
   High-Memory   m2.2xlarge            4   x   3.6           0.435        1.000
                 m2.4xlarge            8   x   3.6           0.822        2.000
                 1
                     Em n´mero de n´cleos x GHz – 2 Em fevereiro de 2011
                         u         u
Capacidade Computacional das M´quinas da Grade
                              a
M´tricas de Compara¸˜o
 e                 ca


      Makespan na Grade: Mg
M´tricas de Compara¸˜o
 e                 ca


      Makespan na Grade: Mg

      Makespan na Nuvem: Mc
      Custo de Execu¸˜o na Nuvem: Cc
                    ca
M´tricas de Compara¸˜o
 e                 ca


      Makespan na Grade: Mg

      Makespan na Nuvem: Mc
      Custo de Execu¸˜o na Nuvem: Cc
                    ca

                                 Mc
      Desempenho Relativo: D =   Mg
M´tricas de Compara¸˜o
 e                 ca


      Makespan na Grade: Mg

      Makespan na Nuvem: Mc
      Custo de Execu¸˜o na Nuvem: Cc
                    ca

                                 Mc
      Desempenho Relativo: D =   Mg


                                          Mc
      Valor Estimado para a Grade: Vg =   Mg   · Cc
M´tricas de Compara¸˜o
 e                 ca


      Makespan na Grade: Mg

      Makespan na Nuvem: Mc
      Custo de Execu¸˜o na Nuvem: Cc
                    ca

                                 Mc
      Desempenho Relativo: D =   Mg


                                          Mc
      Valor Estimado para a Grade: Vg =   Mg   · Cc
      Custo de Manuten¸˜o da Grade: Cg
                      ca
Compara¸˜o de Desempenho
       ca
  Instˆncias da fam´ Standard
      a            ılia
Compara¸˜o de Desempenho
       ca
  Instˆncias da fam´ High-CPU
      a            ılia
Compara¸˜o de Desempenho
       ca
  Instˆncias da fam´ High-Memory
      a            ılia
Compara¸˜o de Desempenho
       ca
  Instˆncias c1.medium, c1.xlarge e m2.4xlarge
      a
Em busca de Instˆncias Adequadas para a Estimativa
                a
   Compara¸˜o de Desempenho e Custo por Tarefa na Nuvem
          ca
Valor da Grade em Compara¸˜o com c1.medium
                         ca
Valor por Hora-M´quina Proporcionado Pela Grade
                a
Conclus˜o
       a


      Estimativa monet´ria do valor de uma grade entre pares
                      a

      Efetividade da grade como solu¸˜o de baixo custo para a
                                    ca
      execu¸˜o de aplica¸˜es BoT.
            ca          co

            Tendo como referˆncia a nuvem Spot
                            e

            Os pre¸os praticados em IaaS ainda est˜o altos
                  c                               a


      A grade se mant´m forte como infraestrutura para execu¸˜o
                     e                                      ca
      de BoT
Estimando o Valor de uma Grade entre Pares
 para a Execu¸˜o de Aplica¸˜es do Tipo Saco de
             ca           co
                    Tarefas

 Edigley Fraga                        Francisco Brasileiro                 Dalton Serey
( edigley@lsd.ufcg.edu.br )              ( fubica@dsc.ufcg.edu.br )     ( dalton@dsc.ufcg.edu.br )



                              Universidade Federal de Campina Grande
                              Departamento de Sistemas e Computa¸˜oca
                                Laborat´rio de Sistemas Distribu´
                                       o                        ıdos
                                       Campina Grande - PB

                                          03 de junho de 2011
Computa¸˜o na Nuvem (IaaS)
       ca
Computa¸˜o na Nuvem (IaaS)
       ca
Computa¸˜o na Nuvem (IaaS)
       ca
Computa¸˜o na Nuvem (IaaS)
       ca
Satisfa¸˜o dos Usu´rios em Fun¸˜o do Custo
       ca         a           ca
Valor da Grade em Compara¸˜o com a Instˆncia
                         ca            a
c1.medium
           #Peers   Cg (USD)    Vg (USD)    Eff Vg (%)
            10         228,49      477,60       52,16
            20         443,75    1.326,95       66,56
            30         570,71    2.683,51       78,73
            50       1.064,09    5.045,56       78,91
            40         722,60    3.606,50       79,96
            60       1.258,35    6.660,78       81,11
            130      2.495,68   13.890,03       82,03
            90       1.847,59   10.812,06       82,91
            80       1.548,84    9.284,05       83,32
            70       1.287,78    7.872,68       83,64
            140      2.642,68   17.476,84       84,88
            100      1.654,11   11.078,81       85,07
            150      2.972,29   20.141,44       85,24
            120      2.462,67   16.804,89       85,35
            110      2.250,88   15.810,31       85,76

Contenu connexe

Similaire à WCGA - Estimando o Valor de uma Grade P2P usando Provedores de IaaS como Parâmetro de Comparação

Conversa LSD - IaaS sobre Recursos Oportunistas
Conversa LSD - IaaS sobre Recursos OportunistasConversa LSD - IaaS sobre Recursos Oportunistas
Conversa LSD - IaaS sobre Recursos Oportunistas
edigley
 
Laboratório Nacional de Computação Científica
Laboratório Nacional de Computação CientíficaLaboratório Nacional de Computação Científica
Laboratório Nacional de Computação Científica
NIT Rio
 
Modelagem de Ambientes de Computação Ubíqua Utilizando Simulação
Modelagem de Ambientes de Computação Ubíqua Utilizando SimulaçãoModelagem de Ambientes de Computação Ubíqua Utilizando Simulação
Modelagem de Ambientes de Computação Ubíqua Utilizando Simulação
Jurmir Canal Neto
 
Simulador Eletromagnético em um Ambiente de Grades Computacionais
Simulador Eletromagnético em um Ambiente de Grades ComputacionaisSimulador Eletromagnético em um Ambiente de Grades Computacionais
Simulador Eletromagnético em um Ambiente de Grades Computacionais
Igor José F. Freitas
 
Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...
Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...
Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...
Joao Galdino Mello de Souza
 
Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1
Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1
Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1
Denis Storti da Silva
 

Similaire à WCGA - Estimando o Valor de uma Grade P2P usando Provedores de IaaS como Parâmetro de Comparação (20)

Conversa LSD - IaaS sobre Recursos Oportunistas
Conversa LSD - IaaS sobre Recursos OportunistasConversa LSD - IaaS sobre Recursos Oportunistas
Conversa LSD - IaaS sobre Recursos Oportunistas
 
TCO e a Nuvem
TCO e a NuvemTCO e a Nuvem
TCO e a Nuvem
 
TCO (Total Cost of Ownership) e a Nuvem: Como os clientes da AWS estão econom...
TCO (Total Cost of Ownership) e a Nuvem: Como os clientes da AWS estão econom...TCO (Total Cost of Ownership) e a Nuvem: Como os clientes da AWS estão econom...
TCO (Total Cost of Ownership) e a Nuvem: Como os clientes da AWS estão econom...
 
Medindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
Medindo e Modelando o Desempenho de Aplicações em um Ambiente VirtualMedindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
Medindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
 
Tco Nuvem Economia
Tco Nuvem EconomiaTco Nuvem Economia
Tco Nuvem Economia
 
Laboratório Nacional de Computação Científica
Laboratório Nacional de Computação CientíficaLaboratório Nacional de Computação Científica
Laboratório Nacional de Computação Científica
 
Amazon EC2 boas praticas e otimizações de desempenho
Amazon EC2 boas praticas e otimizações de desempenhoAmazon EC2 boas praticas e otimizações de desempenho
Amazon EC2 boas praticas e otimizações de desempenho
 
Modelagem de Ambientes de Computação Ubíqua Utilizando Simulação
Modelagem de Ambientes de Computação Ubíqua Utilizando SimulaçãoModelagem de Ambientes de Computação Ubíqua Utilizando Simulação
Modelagem de Ambientes de Computação Ubíqua Utilizando Simulação
 
Alta Concorrência com Postgres
Alta Concorrência com PostgresAlta Concorrência com Postgres
Alta Concorrência com Postgres
 
07 perifericos
07 perifericos07 perifericos
07 perifericos
 
Simulador Eletromagnético em um Ambiente de Grades Computacionais
Simulador Eletromagnético em um Ambiente de Grades ComputacionaisSimulador Eletromagnético em um Ambiente de Grades Computacionais
Simulador Eletromagnético em um Ambiente de Grades Computacionais
 
Pesquisa científica - Benchmark
Pesquisa científica - BenchmarkPesquisa científica - Benchmark
Pesquisa científica - Benchmark
 
Testes de escalabilidade usando cloud
Testes de escalabilidade usando cloudTestes de escalabilidade usando cloud
Testes de escalabilidade usando cloud
 
Research Group on High Performance Computing - MDCC/UFC - Fortaleza, Brazil
Research Group on High Performance Computing - MDCC/UFC - Fortaleza, BrazilResearch Group on High Performance Computing - MDCC/UFC - Fortaleza, Brazil
Research Group on High Performance Computing - MDCC/UFC - Fortaleza, Brazil
 
Oportunidades da Nuvem para a Educação, a Pesquisa e o Governo
Oportunidades da Nuvem para a Educação, a Pesquisa e o GovernoOportunidades da Nuvem para a Educação, a Pesquisa e o Governo
Oportunidades da Nuvem para a Educação, a Pesquisa e o Governo
 
Oportunidades da Nuvem para a Educação, a Pesquisa e o Governo
Oportunidades da Nuvem para a Educação, a Pesquisa e o GovernoOportunidades da Nuvem para a Educação, a Pesquisa e o Governo
Oportunidades da Nuvem para a Educação, a Pesquisa e o Governo
 
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on AzureTDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
 
Técnicas avançadas de utilização de GPU e CUDA
Técnicas avançadas de utilização de GPU e CUDATécnicas avançadas de utilização de GPU e CUDA
Técnicas avançadas de utilização de GPU e CUDA
 
Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...
Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...
Desafios no dimensionamento de capacidade em ambiente Mainframe por Fernando ...
 
Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1
Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1
Monografia_AWS_ProtocolosIOT_DenisStorti_v1.1
 

WCGA - Estimando o Valor de uma Grade P2P usando Provedores de IaaS como Parâmetro de Comparação

  • 1. Estimando o Valor de uma Grade entre Pares para a Execu¸˜o de Aplica¸˜es do Tipo Saco de ca co Tarefas Edigley Fraga Francisco Brasileiro Dalton Serey ( edigley@lsd.ufcg.edu.br ) ( fubica@dsc.ufcg.edu.br ) ( dalton@dsc.ufcg.edu.br ) Universidade Federal de Campina Grande Departamento de Sistemas e Computa¸˜oca Laborat´rio de Sistemas Distribu´ o ıdos Campina Grande - PB 03 de junho de 2011
  • 2. Aplica¸oes do Tipo Saco de Tarefas c˜ Bag-of-Tasks ( BoT) Simples, mas uteis em diversas situa¸˜es ´ co varredura de parˆmetros a pesquisas massivas simula¸˜es co Para v´rias ´reas a a data mining modelagem financeira biologia computacional matem´tica a computa¸˜o gr´fica ca a Representam boa parte da demanda de e-Science
  • 3.
  • 4.
  • 5.
  • 6.
  • 9.
  • 11. Problema e Caminho para Solu¸˜o ca Defini¸˜o do problema ca A despeito do amplo uso, existe uma dificuldade de quantificar, do ponto de vista do usu´rio, o valor fornecido por uma grade entre a pares. Caminho para a solu¸˜o ca Como em IaaS tudo tem um custo associado... Estimar o valor da grade como proporcional ao montante que os usu´rios, ao utiliz´-la, deixam de gastar com provedores de a a IaaS.
  • 12. Abordagem Seguida Analisar comparativamente a execu¸˜o de aplica¸˜es BoT em ca co um ambiente de grade entre pares e sobre IaaS, considerando os fatores custo e makespan.
  • 13. Metodologia de Compara¸˜o ca Simula¸˜o1 guiada por traces gerados sinteticamente ca Uma mesma carga de trabalho em uma grade entre pares e na nuvem 1. Recursos Locais + Recursos Remotos 2. Instˆncias obtidas do provedor de IaaS a Modelo Spot Instances Caracteriza¸˜o ca Demanda Oferta Volatilidade 1 http://redmine.lsd.ufcg.edu.br/projects/show/oursim
  • 14. Caracteriza¸˜o ca Grade entre Pares Provis˜o de IaaS a Demanda Gera¸˜o sint´tica da carga de trabalho (7 dias) ca e Oferta 10 a 150 peers, 30 Limite de 100 m´quinas por peer. m´quinas por usu´rio, a a a Distribui¸˜o da ca- 8 configura¸˜es de ca co pacidade de CPU de CPU diferentes (Nos m´quinas pertencentes moldes do Amazon a a diferentes sites da EC2 2 ) comunidade OurGrid 1 : ∼ N(2, 4; 0, 5) Volatilidade An´lise do padr˜o de 8 s´ries hist´ricas com a a e o disponibilidade em 4 as oscila¸˜es de pre¸o co c sites OurGrid por instˆncia a 1 http://www.ourgrid.org/ 2 http://aws.amazon.com/ec2/
  • 15. Capacidade Computacional das M´quinas da Nuvem a Fam´ ılia Tipo CPU1 m1.small 1 x 1.1 Standard m1.large 2 x 2.2 m1.xlarge 4 x 2.2 c1.medium 2 x 2.8 High-CPU c1.xlarge 8 x 2.8 m2.xlarge 2 x 3.6 High-Memory m2.2xlarge 4 x 3.6 m2.4xlarge 8 x 3.6 1 Em n´mero de n´cleos x GHz u u
  • 16. Custo das M´quinas da Nuvem a Pre¸o por hora (em USD) 2 c Fam´ ılia Tipo CPU1 Spot On-Demand m1.small 1 x 1.1 0.030 0.085 Standard m1.large 2 x 2.2 0.124 0.340 m1.xlarge 4 x 2.2 0.250 0.680 c1.medium 2 x 2.8 0.059 0.170 High-CPU c1.xlarge 8 x 2.8 0.240 0.680 m2.xlarge 2 x 3.6 0.170 0.500 High-Memory m2.2xlarge 4 x 3.6 0.435 1.000 m2.4xlarge 8 x 3.6 0.822 2.000 1 Em n´mero de n´cleos x GHz – 2 Em fevereiro de 2011 u u
  • 17. Capacidade Computacional das M´quinas da Grade a
  • 18. M´tricas de Compara¸˜o e ca Makespan na Grade: Mg
  • 19. M´tricas de Compara¸˜o e ca Makespan na Grade: Mg Makespan na Nuvem: Mc Custo de Execu¸˜o na Nuvem: Cc ca
  • 20. M´tricas de Compara¸˜o e ca Makespan na Grade: Mg Makespan na Nuvem: Mc Custo de Execu¸˜o na Nuvem: Cc ca Mc Desempenho Relativo: D = Mg
  • 21. M´tricas de Compara¸˜o e ca Makespan na Grade: Mg Makespan na Nuvem: Mc Custo de Execu¸˜o na Nuvem: Cc ca Mc Desempenho Relativo: D = Mg Mc Valor Estimado para a Grade: Vg = Mg · Cc
  • 22. M´tricas de Compara¸˜o e ca Makespan na Grade: Mg Makespan na Nuvem: Mc Custo de Execu¸˜o na Nuvem: Cc ca Mc Desempenho Relativo: D = Mg Mc Valor Estimado para a Grade: Vg = Mg · Cc Custo de Manuten¸˜o da Grade: Cg ca
  • 23. Compara¸˜o de Desempenho ca Instˆncias da fam´ Standard a ılia
  • 24. Compara¸˜o de Desempenho ca Instˆncias da fam´ High-CPU a ılia
  • 25. Compara¸˜o de Desempenho ca Instˆncias da fam´ High-Memory a ılia
  • 26. Compara¸˜o de Desempenho ca Instˆncias c1.medium, c1.xlarge e m2.4xlarge a
  • 27. Em busca de Instˆncias Adequadas para a Estimativa a Compara¸˜o de Desempenho e Custo por Tarefa na Nuvem ca
  • 28. Valor da Grade em Compara¸˜o com c1.medium ca
  • 29. Valor por Hora-M´quina Proporcionado Pela Grade a
  • 30. Conclus˜o a Estimativa monet´ria do valor de uma grade entre pares a Efetividade da grade como solu¸˜o de baixo custo para a ca execu¸˜o de aplica¸˜es BoT. ca co Tendo como referˆncia a nuvem Spot e Os pre¸os praticados em IaaS ainda est˜o altos c a A grade se mant´m forte como infraestrutura para execu¸˜o e ca de BoT
  • 31. Estimando o Valor de uma Grade entre Pares para a Execu¸˜o de Aplica¸˜es do Tipo Saco de ca co Tarefas Edigley Fraga Francisco Brasileiro Dalton Serey ( edigley@lsd.ufcg.edu.br ) ( fubica@dsc.ufcg.edu.br ) ( dalton@dsc.ufcg.edu.br ) Universidade Federal de Campina Grande Departamento de Sistemas e Computa¸˜oca Laborat´rio de Sistemas Distribu´ o ıdos Campina Grande - PB 03 de junho de 2011
  • 36. Satisfa¸˜o dos Usu´rios em Fun¸˜o do Custo ca a ca
  • 37. Valor da Grade em Compara¸˜o com a Instˆncia ca a c1.medium #Peers Cg (USD) Vg (USD) Eff Vg (%) 10 228,49 477,60 52,16 20 443,75 1.326,95 66,56 30 570,71 2.683,51 78,73 50 1.064,09 5.045,56 78,91 40 722,60 3.606,50 79,96 60 1.258,35 6.660,78 81,11 130 2.495,68 13.890,03 82,03 90 1.847,59 10.812,06 82,91 80 1.548,84 9.284,05 83,32 70 1.287,78 7.872,68 83,64 140 2.642,68 17.476,84 84,88 100 1.654,11 11.078,81 85,07 150 2.972,29 20.141,44 85,24 120 2.462,67 16.804,89 85,35 110 2.250,88 15.810,31 85,76