SlideShare une entreprise Scribd logo
1  sur  36
Télécharger pour lire hors ligne
Montando seu DataCenter Pessoal

         Fernando Massen

        17 de agosto de 2008




                                  1 / 36
Motiva¸oes
                     c˜
             Vida Digital
             Moderna
             Backups
             Motiva¸˜o Pessoal
                     ca
             Motiva¸˜o Pessoal
                     ca
             (cont.)

             Backend

Motiva¸oes
      c˜     Id´ias
               e

             Recursos

             Final




                        2 / 36
Vida Digital Moderna


                                                          Motiva¸oes
                                                                  c˜
s   Textos (documentos, HTML, texto puro,                 Vida Digital
    documenta¸oes, PDFs)
                c˜                                        Moderna
                                                          Backups
s   Fotos (digitalizadas, digitais, “interessantes”)      Motiva¸˜o Pessoal
                                                                  ca
                                                          Motiva¸˜o Pessoal
                                                                  ca
s   V´ıdeos                                               (cont.)
s   Bancos de dados sobre as coisas acima                 Backend

s   Al´m do armazenamento, tem o problema da exibi¸˜o
       e                                             ca   Id´ias
                                                            e

    e disponibilidade                                     Recursos

                                                          Final




                                                                     3 / 36
Backups


s                        o           a
    Gravar num disco s´ significa n˜o ter dados           Motiva¸oes
                                                                 c˜
                                                         Vida Digital
s   Redundˆncia tamb´m s´ conta quando se tem pelo
            a           e    o                           Moderna
                                                         Backups
    menos duas c´pias al´m do original
                   o       e                             Motiva¸˜o Pessoal
                                                                 ca
                                                         Motiva¸˜o Pessoal
                                                                 ca
s   H´ necessidade de indexa¸˜o dos backups j´
      a                        ca              a         (cont.)
    realizados, para n˜o perder tempo restaurando
                      a                                  Backend

    quando o “queim˜o”/inunda¸˜o vier
                      a           ca                     Id´ias
                                                           e

s   De preferˆncia, h´ uma certa necessidade de
              e       a                                  Recursos

    distribui¸˜o geogr´fica das c´pias de seguran¸a.
             ca        a          o              c       Final

s   Tudo isso depende do quanto vocˆ valoriza os dados
                                       e
s   H´ uma ilus˜o de que quanto maior o disco r´
      a          a                               ıgido
    (por ser mais moderno) mais coisas cabem
    impunemente nele.




                                                                    4 / 36
Motiva¸˜o Pessoal
                                           ca


s                                     a
    O PowerMac G3 que era minha m´quina principal j´    a    Motiva¸oes
                                                                     c˜
                                                             Vida Digital
    estava come¸ando a ficar pesado como servidor de
                 c                                           Moderna
                                                             Backups
    arquivos e Internet para outros usu´rios (tinha 4
                                       a                     Motiva¸˜o Pessoal
                                                                     ca
                                                             Motiva¸˜o Pessoal
                                                                     ca
    usu´rios, j´!). Al´m disso, as gambiarras para fazer o
       a       a      e                                      (cont.)
    OS X funcionar como servidor j´ estavam consumindo
                                    a                        Backend

    muito meu tempo                                          Id´ias
                                                               e

s   Minha cole¸˜o de computadores come¸ou a ficar
                ca                         c                 Recursos

    grande demais: boa oportunidade de organizar a rede      Final

    de forma funcional e que trouxesse maior utilidade
s   Laborat´rio para testes
            o




                                                                        5 / 36
Motiva¸˜o Pessoal (cont.)
                                 ca


s   Utilizar um ambiente neutro de forma a n˜o se fixar
                                              a          Motiva¸oes
                                                                 c˜
                                                         Vida Digital
    em um unico fornecedor de hardware ou sistema
             ´                                           Moderna
                                                         Backups
    operacional                                          Motiva¸˜o Pessoal
                                                                 ca
                                                         Motiva¸˜o Pessoal
                                                                 ca
s   Guardar todas as tralhas e bugigangas digitais de    (cont.)
    forma organizada e f´cil de pesquisar
                          a                              Backend

s   Disponibilizar um ambiente que resista a mudan¸asc   Id´ias
                                                           e

    (f´
      ısicas, de topologia, de equipamento, de sistema   Recursos

    operacional, de humor)                               Final

s   S´ o software aberto permite essa maleabilidade.
      o
    Provavelmente ser´ assim no futuro tamb´m
                       a                      e




                                                                    6 / 36
Motiva¸oes
                c˜

          Backend
          Servi¸os
               c
          Interessantes (ehh...
          indispens´veis)
                   a
          Compartilhando
          arquivos
          Sistema Operacional
          Linux
Backend   FreeBSD
          OpenBSD
          OpenSolaris
          OpenSolaris

          Id´ias
            e

          Recursos

          Final




                     7 / 36
Servi¸os Interessantes (ehh... indispens´veis)
          c                                  a


s   FTP                                               Motiva¸oes
                                                            c˜

                                                      Backend
s   HTTP (Apache) + WebDAV + PHP + mod python         Servi¸os
                                                           c
                                                      Interessantes (ehh...
    + mod perl                                        indispens´veis)
                                                               a
s   Tomcat + conector Apache                          Compartilhando
                                                      arquivos
s   PostgreSQL e/ou MySQL + servi¸o de gerˆncia via
                                 c        e           Sistema Operacional
                                                      Linux
    Web                                               FreeBSD
s   LDAP                                              OpenBSD
                                                      OpenSolaris
s   CUPS (impress˜o)
                 a                                    OpenSolaris

s   SANE (scanner)                                    Id´ias
                                                        e

s   DNS                                               Recursos

s   DHCP                                              Final

s   PPPoE para ADSL
s   SAMBA, NFS, SSHfs




                                                                 8 / 36
Compartilhando arquivos


Do mais ub´
          ıquo ao menos ub´
                          ıquo, por sistema:           Motiva¸oes
                                                             c˜

                                                       Backend
s   SMB (Windows, Linux, OpenSolaris, MacOS)           Servi¸os
                                                            c
                                                       Interessantes (ehh...
s   NFS (Qualquer Unix-like, para servir incluindo o   indispens´veis)
                                                                a
                                                       Compartilhando
    Windows)                                           arquivos
                                                       Sistema Operacional
s   SSHfs (Linux, FreeBSD, MacOS)                      Linux
s   WebDAV (Linux, MacOS, Windows)                     FreeBSD
                                                       OpenBSD
s   FTP (qualquer coisa, mas s´ se for extremamente
                              o                        OpenSolaris

    necess´rio)
          a                                            OpenSolaris

                                                       Id´ias
                                                         e

                                                       Recursos

                                                       Final




                                                                  9 / 36
Sistema Operacional


s   A escolha de sistema operacional vai realmente ao     Motiva¸oes
                                                                c˜

                                                          Backend
    gosto e ` vontade de aprender do administrador
            a                                             Servi¸os
                                                               c
                                                          Interessantes (ehh...
    caseiro                                               indispens´veis)
                                                                   a
s   Em todas as sugest˜es que citarei os sistemas s˜o
                        o                          a      Compartilhando
                                                          arquivos
    capazes de realizar as fun¸oes que eu sugiro e
                              c˜                          Sistema Operacional
                                                          Linux
    implementar o backend de servi¸os do slide anterior
                                    c                     FreeBSD
s   Em ordem de popularidade / dificuldade de encontrar    OpenBSD
                                                          OpenSolaris
    documentac˜o: Linux ¿ FreeBSD ¿ OpenBSD ¿ Mac
                a                                         OpenSolaris

    OS X ¿ Solaris                                        Id´ias
                                                            e

                                                          Recursos

                                                          Final




                                                                   10 / 36
Linux


s   Obviamente o mais conhecido                             Motiva¸oes
                                                                  c˜

                                                            Backend
s   O que ter´ documenta¸˜o mais farta e completa, com
              a             ca                              Servi¸os
                                                                 c
                                                            Interessantes (ehh...
    certas diferen¸as para cada distribui¸˜o
                   c                     ca                 indispens´veis)
                                                                     a
s   Dentre os Linux, sempre optei pelo Slackware, por vir   Compartilhando
                                                            arquivos
    sem muitos enfeites e modifica¸oes na forma de rodar
                                   c˜                       Sistema Operacional
                                                            Linux
    os servi¸os (e sem muitas pol´
            c                    ıticas de uso, tamb´m)e    FreeBSD
s   Alguns servi¸os s´ rodam em Linux, ou rodam mais
                 c     o                                    OpenBSD
                                                            OpenSolaris
    facilmente neste                                        OpenSolaris

s   Algumas coisas que interagiam com o hardware, como      Id´ias
                                                              e

    o PPPoE, se mostraram extremamente dif´    ıceis e      Recursos

    tediosas de se configurar. De resto, foi realmente       Final

    tranq¨ilo
          u
s   A performance ´ fant´stica
                     e    a
s   Comparado com o PF do FreeBSD/OpenBSD, tive
    que gastar muito mais tempo para deixar a m´quina
                                                   a
    segura como queria
s   Por quest˜es de preferˆncia pessoal, uso sempre XFS
              o            e                                         11 / 36
FreeBSD


s   Voltado para servidores de rede                         Motiva¸oes
                                                                  c˜

                                                            Backend
s   Bem-documentado, com pontos positivos para a            Servi¸os
                                                                 c
                                                            Interessantes (ehh...
    documenta¸˜o ser centralizada
                 ca                                         indispens´veis)
                                                                     a
s   Achei o mais f´cil de configurar entre os sistemas que
                     a                                      Compartilhando
                                                            arquivos
    eu utilizei, principalmente por causa da documenta¸˜o
                                                       ca   Sistema Operacional
                                                            Linux
                                                            FreeBSD
s   A performance tamb´m ´ excelente
                         e e                                OpenBSD
                                                            OpenSolaris
s   Tem algumas idiossincrasias na configura¸˜o, mas s˜o
                                              ca      a     OpenSolaris

    f´ceis de se adaptar; o sistema de logging ´ mais
     a                                         e            Id´ias
                                                              e

    espec´ıfico na hora de resolver problemas                Recursos

                                                            Final




                                                                     12 / 36
OpenBSD


s   Voltado para seguran¸a e servidores
                          c                                  Motiva¸oes
                                                                   c˜

                                                             Backend
s   Documenta¸˜o sucinta e sempre correta
                ca                                           Servi¸os
                                                                  c
                                                             Interessantes (ehh...
s   Com menos features do que o Linux ou FreeBSD,            indispens´veis)
                                                                      a
    mas a simplicidade e a falta de constante manuten¸˜oca   Compartilhando
                                                             arquivos
    compensa                                                 Sistema Operacional
                                                             Linux
s   O aspecto seguran¸a est´ evidente em todos os
                        c     a                              FreeBSD
    detalhes                                                 OpenBSD
                                                             OpenSolaris
s   O que tem a pior performance de disco entre todos os     OpenSolaris

    sistemas utilizados; a parte boa ´ a integridade dos
                                     e                       Id´ias
                                                               e

    dados                                                    Recursos

s   A configura¸˜o exige uma certa curva de aprendizado,
                ca                                           Final

    mas ela s´ ´ galgada uma vez; dificilmente algo
             oe
    muda no OpenBSD de forma a necessitar um
    reaprendizado



                                                                      13 / 36
OpenSolaris


s   ´
    E o mesmo Solaris de sempre, com algumas coisas a
                                                           Motiva¸oes
                                                                 c˜

                                                           Backend
    menos (que n˜o fazem muita falta, a n˜o ser
                   a                       a               Servi¸os
                                                                c
                                                           Interessantes (ehh...
    saudosistas como eu)                                   indispens´veis)
                                                                    a
                                                           Compartilhando
s   Tem uma userland anci˜, embora projetos como o
                             a                             arquivos

    Nexenta (Ubuntu + OpenSolaris) mudam essa              Sistema Operacional
                                                           Linux
    perspectiva                                            FreeBSD

s   ´
    E o mais obscuro em termos de documenta¸˜o eca         OpenBSD
                                                           OpenSolaris
    configura¸˜o, e nem sempre a documenta¸˜o que se
              ca                              ca           OpenSolaris

    encontra por a´ fala a verdade; o melhor ainda ´ a
                    ı                              e       Id´ias
                                                             e

                                                           Recursos
    documenta¸˜o oficial da Sun
                ca
                                                           Final
s   A estabilidade ´ boa, mas n˜o conversa muito bem
                     e          a
    com PPPoE e n˜o tem suporte ` certos gadgets USB,
                       a            a
    assim como Bluetooth; dos sistemas testados, ´ o que
                                                   e
    tem pior suporte ` hardware (no sentido de escassez,
                         a
    n˜o no sentido de features em hardware suportado)
     a

                                                                    14 / 36
OpenSolaris


s   Coisas como o ZFS, Zones fazem com que vale a        Motiva¸oes
                                                               c˜

                                                         Backend
    pena testar o sistema                                Servi¸os
                                                              c
                                                         Interessantes (ehh...
s   O sistema de firewalling ´ parecido com o PF dos
                             e                           indispens´veis)
                                                                  a
    BSDs                                                 Compartilhando
                                                         arquivos
s   Se vocˆ comprar um hardware Sun mais antigo, vai
           e                                             Sistema Operacional
                                                         Linux
    ter que aprender o Solaris na marra caso resolva     FreeBSD
    continuar com ele na m´quina
                           a                             OpenBSD
                                                         OpenSolaris
                                                         OpenSolaris

                                                         Id´ias
                                                           e

                                                         Recursos

                                                         Final




                                                                  15 / 36
Motiva¸oes
               c˜

         Backend

         Id´ias
           e
         Sistema de Backup
         Automatizado
         ZFS
         Webcam / TV
         Banco de Dados de

Id´ias
  e      Conte´do
                u
         Streamer
         Controle de vers˜o
                         a
         Mails
         Mini-Google
         Cache de HTML
         Bugzilla / Trac

         Recursos

         Final




                   16 / 36
Sistema de Backup Automatizado


s   Rsync                                        Motiva¸oes
                                                       c˜

                                                 Backend
s   Cron
                                                 Id´ias
                                                   e
s   Base do comando: time rsync -tubrvv          Sistema de Backup
                                                 Automatizado
    --backup-dir=/backupdir/$TIME origem         ZFS
    destino                                      Webcam / TV
                                                 Banco de Dados de
                                                 Conte´do
                                                        u
                                                 Streamer
                                                 Controle de vers˜o
                                                                 a
                                                 Mails
                                                 Mini-Google
                                                 Cache de HTML
                                                 Bugzilla / Trac

                                                 Recursos

                                                 Final




                                                           17 / 36
ZFS


s   M´quina dedicada para ZFS
      a                                                      Motiva¸oes
                                                                   c˜

                                                             Backend
s   V´rios discos
     a
                                                             Id´ias
                                                               e
s   Set-up incrivelmente f´cil
                          a                                  Sistema de Backup
                                                             Automatizado
s   Administra¸˜o incrivelmente f´cil, quase autom´tica
               ca                a                 a         ZFS
s   Raid X, mirrors, backups, tudo muito f´cil de se fazer
                                           a                 Webcam / TV
                                                             Banco de Dados de
                                                             Conte´do
                                                                    u
                                                             Streamer
                                                             Controle de vers˜o
                                                                             a
                                                             Mails
                                                             Mini-Google
                                                             Cache de HTML
                                                             Bugzilla / Trac

                                                             Recursos

                                                             Final




                                                                       18 / 36
Webcam / TV


s   Fotos em momentos aleat´rios
                           o                     Motiva¸oes
                                                       c˜

                                                 Backend
s   Seguran¸a
            c
                                                 Id´ias
                                                   e
s   Detec¸˜o de movimento
         ca                                      Sistema de Backup
                                                 Automatizado
s   MythTV no servidor!                          ZFS
s   Funciona melhor com Linux                    Webcam / TV
                                                 Banco de Dados de
                                                 Conte´do
                                                        u
                                                 Streamer
                                                 Controle de vers˜o
                                                                 a
                                                 Mails
                                                 Mini-Google
                                                 Cache de HTML
                                                 Bugzilla / Trac

                                                 Recursos

                                                 Final




                                                           19 / 36
Banco de Dados de Conte´do
                                              u


s   Indexar o conte´do em DVDs e CDs
                    u                               Motiva¸oes
                                                          c˜

                                                    Backend
s   Criar pr´vias
            e
                                                    Id´ias
                                                      e
s   Armazenar em BDs                                Sistema de Backup
                                                    Automatizado
s   Fazer aplicativo Web para consultas             ZFS
                                                    Webcam / TV
                                                    Banco de Dados de
                                                    Conte´do
                                                           u
                                                    Streamer
                                                    Controle de vers˜o
                                                                    a
                                                    Mails
                                                    Mini-Google
                                                    Cache de HTML
                                                    Bugzilla / Trac

                                                    Recursos

                                                    Final




                                                              20 / 36
Streamer


s   Filmes ficam no HD                                     Motiva¸oes
                                                                c˜

                                                          Backend
s   Escolhe-se um software de streaming
                                                          Id´ias
                                                            e
s   (muita dor-de-cabe¸a)
                        c                                 Sistema de Backup
                                                          Automatizado
s   Profit!                                                ZFS
s   Tente achar uma placa BT878, facilita bastante        Webcam / TV
                                                          Banco de Dados de
s               e                        ca      u
    A mesma id´ia se aplica para sua cole¸˜o de m´sicas   Conte´do
                                                                 u
                                                          Streamer
                                                          Controle de vers˜o
                                                                          a
                                                          Mails
                                                          Mini-Google
                                                          Cache de HTML
                                                          Bugzilla / Trac

                                                          Recursos

                                                          Final




                                                                    21 / 36
Controle de vers˜o
                                                     a


s   Com git, cvs, subversion, etc.                        Motiva¸oes
                                                                c˜

                                                          Backend
s   Controle as configurac˜es do seu servidor
                           o
                                                          Id´ias
                                                            e
s   Controle seu diret´rio $HOME com controle de vers˜o
                      o                              a    Sistema de Backup
                                                          Automatizado
                                                          ZFS
s   Instale o viewvc para navegar nos arquivos-fonte      Webcam / TV
                                                          Banco de Dados de
s   Instale o statcvs para gerar estat´
                                      ısticas sobre os    Conte´do
                                                                 u
                                                          Streamer
    arquivos-fonte                                        Controle de vers˜o
                                                                          a
                                                          Mails
                                                          Mini-Google
                                                          Cache de HTML
                                                          Bugzilla / Trac

                                                          Recursos

                                                          Final




                                                                    22 / 36
Mails


                                                           Motiva¸oes
                                                                 c˜
s   Versione os seus e-mails (se forem em .mbox fica mais
                                                           Backend
    f´cil)
     a
                                                           Id´ias
                                                             e
s   Com os e-mails versionados vocˆ pode rodar o
                                     e                     Sistema de Backup
                                                           Automatizado
    mhonarc nas suas mboxes e partir para a pr´xima
                                                 o         ZFS
    sugest˜o...
           a                                               Webcam / TV
                                                           Banco de Dados de
s   Listas de discuss˜o (´til para condom´
                     a u                  ınios)           Conte´do
                                                                  u
                                                           Streamer
s   E-mails de alerta (falhas de hardware, reboots         Controle de vers˜o
                                                                           a
    inesperados, trocas de IP); use o twitter tamb´m!
                                                   e       Mails
                                                           Mini-Google
s   Baixar e-mails do GMail localmente, para evitar de     Cache de HTML
                                                           Bugzilla / Trac
    depender do Google
                                                           Recursos

                                                           Final




                                                                     23 / 36
Mini-Google


s   Baixar meio-mundo atrav´s do wget
                               e                       Motiva¸oes
                                                             c˜

                                                       Backend
s   Deixar todos os HTMLs baixados atrav´s de um
                                        e
                                                       Id´ias
                                                         e
    diret´rio acess´ via Apache
         o         ıvel                                Sistema de Backup
                                                       Automatizado
s   Utilizar o ht.dig para indexar                     ZFS
s   Profit!                                             Webcam / TV
                                                       Banco de Dados de
s   Aplica-se a PDFs tamb´m, se configurado
                             e                         Conte´do
                                                              u
                                                       Streamer
    corretamente                                       Controle de vers˜o
                                                                       a
                                                       Mails
                                                       Mini-Google
                                                       Cache de HTML
                                                       Bugzilla / Trac

                                                       Recursos

                                                       Final




                                                                 24 / 36
Cache de HTML


s   Instale o squid e bloqueie os seus sites n˜o-preferidos
                                              a               Motiva¸oes
                                                                    c˜

                                                              Backend
s   Economiza banda e acelera o acesso
                                                              Id´ias
                                                                e
s   Gere estat´ısticas de acesso ao seu apache e ao squid     Sistema de Backup
                                                              Automatizado
    com o Webalizer                                           ZFS
                                                              Webcam / TV
                                                              Banco de Dados de
                                                              Conte´do
                                                                     u
                                                              Streamer
                                                              Controle de vers˜o
                                                                              a
                                                              Mails
                                                              Mini-Google
                                                              Cache de HTML
                                                              Bugzilla / Trac

                                                              Recursos

                                                              Final




                                                                        25 / 36
Bugzilla / Trac


s   Para controlar as tarefas relacionadas ao datacenter    Motiva¸oes
                                                                  c˜

                                                            Backend
s   Tamb´m serve como lista de atividades
          e
                                                            Id´ias
                                                              e
s   Gera informac˜es para o e-mail local
                  o                                         Sistema de Backup
                                                            Automatizado
                                                            ZFS
                                                            Webcam / TV
                                                            Banco de Dados de
                                                            Conte´do
                                                                   u
                                                            Streamer
                                                            Controle de vers˜o
                                                                            a
                                                            Mails
                                                            Mini-Google
                                                            Cache de HTML
                                                            Bugzilla / Trac

                                                            Recursos

                                                            Final




                                                                      26 / 36
Motiva¸oes
                 c˜

           Backend

           Id´ias
             e

           Recursos
           Consumo de
           Recursos
           Equa¸˜o de
                ca
           Fernando para

Recursos   Possibilidade De
           Montar Datacenters
           em Casa
           Exemplo f´cil
                      a
           Exemplo com um
           pouco de
           sofistica¸˜o
                    ca
           Exemplo sofisticado
           Perto do Ideal

           Final




                     27 / 36
Consumo de Recursos


s   Tempo                                                  Motiva¸oes
                                                                 c˜

                                                           Backend
s   Dinheiro (a.k.a. limitador de prazeres)
                                                           Id´ias
                                                             e
s   Espa¸o
         c
                                                           Recursos
s   Trˆs fatores em fun¸˜o da vontade de aprender
      e                 ca                                 Consumo de
                                                           Recursos
s   Os itens a seguir s˜o quase cient´
                       a              ıficos. Calculei os   Equa¸˜o de
                                                                ca
                                                           Fernando para
    pre¸os conforme o que encontrei ` venda nos
       c                             a                     Possibilidade De
                                                           Montar Datacenters
    arredores de Porto Alegre, n˜o procurando beneficiar
                                a                          em Casa
                                                           Exemplo f´cil
                                                                      a
    nenhum fabricante ou loja                              Exemplo com um
s   Vale a pena dizer que, como o assunto ´ amplo, tudo
                                           e               pouco de
                                                           sofistica¸˜o
                                                                    ca
    ´ uma quest˜o de sugest˜o; n˜o h´ leis a serem
    e            a          a     a a                      Exemplo sofisticado
                                                           Perto do Ideal
    seguidas, somente o bom senso
                                                           Final




                                                                     28 / 36
Equa¸˜o de Fernando para Possibilidade De Montar
    ca
                           Datacenters em Casa

                                                        Motiva¸oes
                                                              c˜
                  dc = (t + d + e) ∗ va
                                                        Backend
                           vm                           Id´ias
                                                          e

 s   dc → datacenter                                    Recursos
                                                        Consumo de
 s   t → tempo                                          Recursos
                                                        Equa¸˜o de
                                                             ca
 s   d → dinheiro                                       Fernando para
                                                        Possibilidade De
 s   e → espa¸o
             c                                          Montar Datacenters
                                                        em Casa
 s   va → vontade de aprender                           Exemplo f´cil
                                                                   a
                                                        Exemplo com um
 s   vm → vontade da mulher de deixar vocˆ bagun¸ar a
                                         e      c       pouco de
                                                        sofistica¸˜o
                                                                 ca
     casa                                               Exemplo sofisticado
                                                        Perto do Ideal

                                                        Final




                                                                  29 / 36
Exemplo f´cil
                                                     a


                                                              Motiva¸oes
                                                                    c˜
s   Micro de R$ 500 de supermercado
                                                              Backend
s   Monitor opcional, s´ necess´rio durante a instala¸˜o;
                        o        a                    ca
                                                              Id´ias
                                                                e
    vem com gravador de CD, pelo menos
                                                              Recursos
s   Um switch de rede fundo-de-quintal + cabos por            Consumo de
                                                              Recursos
    menos de R$ 100                                           Equa¸˜o de
                                                                   ca
                                                              Fernando para
s   Ubuntu Server                                             Possibilidade De
                                                              Montar Datacenters
s   Benef´ıcios imediatos: servidor de arquivos, grava CDs,   em Casa
                                                              Exemplo f´cil
                                                                         a
    permite a coloca¸˜o de um banco de dados e PHP
                     ca                                       Exemplo com um
                                                              pouco de
    sem esfor¸o
              c                                               sofistica¸˜o
                                                                       ca
s   Vai falhar em um ano; pense R$ 20 por mˆs para
                                                e             Exemplo sofisticado
                                                              Perto do Ideal
    efetuar backups
                                                              Final
s   Se der tudo certo, gastar´ ao todo de tempo com o
                              a
    micro em torno de 12 horas por ano
s   Vai gastar luz enquanto vocˆ o estiver utilizando.
                                 e



                                                                        30 / 36
Exemplo com um pouco de sofistica¸˜o
                                           ca


                                                         Motiva¸oes
                                                               c˜
s   Micro de R$ 1.200 de um fabricante
                                                         Backend
s   Monitor opcional, mas vem com gravador de DVD e
                                                         Id´ias
                                                           e
    um disco maior
                                                         Recursos
s   Acessa ADSL e compartilha, digamos, com seu laptop   Consumo de
                                                         Recursos
s   P˜e-se a´ mais uns R$ 300 num Access Point
      o      ı                                           Equa¸˜o de
                                                              ca
                                                         Fernando para
s   Vocˆ vai gastar mais com backups e com grava¸˜o de
         e                                         ca    Possibilidade De
                                                         Montar Datacenters
    DVDs; provavelmente outro disco depois de mais um    em Casa
                                                         Exemplo f´cil
                                                                    a
    tempo. Imagine o dobro dos R$ 20 do exemplo          Exemplo com um
                                                         pouco de
    anterior                                             sofistica¸˜o
                                                                  ca
s   Wi-Fi, NAT exige um pouco mais de dedica¸˜o;
                                               ca        Exemplo sofisticado
                                                         Perto do Ideal
    monitorar a conex˜o tamb´m.
                      a       e
                                                         Final
s   O gasto com energia el´trica (j´ que ficar´ ligado
                            e      a         a
    todo o tempo) aumenta pelo menos R$ 15 a mais na
    conta. Uma m´quina econˆmica ou n˜o-x86 pode
                   a          o          a
    tornar o gasto neglig´
                         ıvel
s   Algumas vezes por semana vocˆ ter´ de verificar se
                                   e a
    est´ tudo em dia. Calcule pelo menos meia hora por
        a                                                          31 / 36
    semana.
Exemplo sofisticado


                                                            Motiva¸oes
                                                                  c˜
s   Micro de R$ 2.500 de um fabricante ou personalizado
                                                            Backend
s   Acessa ADSL, monitora seguran¸a c
                                                            Id´ias
                                                              e
    personalizadamente, possui v´rios servi¸os de rede.
                                  a         c
                                                            Recursos
s   Fornece aplica¸oes customizadas, testes do que vocˆ
                   c˜                                   e   Consumo de
                                                            Recursos
    faz no trabalho, arquivos, tem automa¸oes, serve
                                           c˜               Equa¸˜o de
                                                                 ca
                                                            Fernando para
    impress˜o, e-mail, etc.
            a                                               Possibilidade De
                                                            Montar Datacenters
s   O gasto de hardware excedente (al´m da pr´pria
                                       e         o          em Casa
                                                            Exemplo f´cil
                                                                       a
    m´quina) ´ ligeiramente maior, porque haver˜o mais
      a        e                                   a        Exemplo com um
                                                            pouco de
    discos, e quanto mais discos, maior ´ o n´ de falha.
                                        e     ıvel          sofistica¸˜o
                                                                     ca
s   O maior gasto ser´ de tempo. Quando uma falha
                       a                                    Exemplo sofisticado
                                                            Perto do Ideal
    ocorrer, j´ que estamos tratando com hardware
              a
                                                            Final
    off-the-shelf, vocˆ ter´ que descobrir o problema e
                       e a
    ser capaz de arrumar. A partir de um certo momento,
    fica complicado passar o conserto do seu set-up
    adiante.

                                                                      32 / 36
Perto do Ideal


                                                             Motiva¸oes
                                                                   c˜
s   Hardware dedicado para a conex˜o de internet (pelo
                                     a
                                                             Backend
    menos R$ 500)
                                                             Id´ias
                                                               e
s   Hardware dedicado para armazenamento de dados
                                                             Recursos
    (pelo menos R$ 2.000)                                    Consumo de
                                                             Recursos
s   Redundˆncia de discos; pelo menos 1 TB de
            a                                                Equa¸˜o de
                                                                  ca
                                                             Fernando para
    armazenamento com redundˆncia; discos confi´veis
                                  a                a         Possibilidade De
                                                             Montar Datacenters
    passam a custar pelo menos R$ 2.000 por terabyte         em Casa
                                                             Exemplo f´cil
                                                                        a
s   Hardware de processamento mais sofisticado, com           Exemplo com um
                                                             pouco de
    v´rios processadores, mem´rias de maior qualidade,
     a                          o                            sofistica¸˜o
                                                                      ca
    fontes redundantes; m´quinas assim come¸am a
                            a                 c              Exemplo sofisticado
                                                             Perto do Ideal
    custar a partir de R$ 5.000
                                                             Final
s   Dependendo do que vocˆ fizer, vocˆ come¸a a
                              e         e     c
    descobrir caracter´
                      ısticas avan¸adas do Linux, ou parte
                                   c
    para outros sistemas operacionais que possuem essas
    caracter´
            ısticas
s   Gastando mais que R$ 30 de energia el´trica por mˆs
                                           e           e
                                                                       33 / 36
Motiva¸oes
              c˜

        Backend

        Id´ias
          e

        Recursos

        Final
        Meu set-up
        Quest˜es?
              o
Final




                  34 / 36
Meu set-up


s   Dom´ ınio: ap704                                       Motiva¸oes
                                                                 c˜

                                                           Backend
s   inferno: Celeron D 2.6 Ghz, 712 Mb RAM, NAT,
                                                           Id´ias
                                                             e
    DNS, DHCP, POP3, WWW (...), ao todo 1TB+ de
                                                           Recursos
    disco contando o espelhamento                          Final
s   rio: PPC G3 450 Mhz, 160 Gb de disco, para backups     Meu set-up
                                                           Quest˜es?
                                                                 o
    e escrever
s   sam: Mac Mini G4 1.2, ligado na TV, lendo arquivos
    da rede via sshfs
s   Diversos clientes: x86, sparc, PPC, com mirroring de
    conte´do e backups distribu´
          u                      ıdos




                                                                     35 / 36
Quest˜es?
                                    o



Obrigado.
                                           Motiva¸oes
                                                 c˜

                                           Backend

plan9ner@gmail.com                         Id´ias
                                             e

http://juliobiason.net/ferhr               Recursos

                                           Final
                                           Meu set-up
                                           Quest˜es?
                                                 o




                                                     36 / 36

Contenu connexe

En vedette

Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...
Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...
Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...Evilasio Cesar
 
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - FatreeA SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - FatreeJoaquim Mussandi
 
Conceitos e dicas para profissionais de datacenter
Conceitos e dicas para profissionais de datacenterConceitos e dicas para profissionais de datacenter
Conceitos e dicas para profissionais de datacenterFabio Leandro
 
Aceco TI
Aceco TIAceco TI
Aceco TIABEP123
 
Implementação de PMO para datacenter
Implementação de PMO para datacenterImplementação de PMO para datacenter
Implementação de PMO para datacenterRafael Ramalho
 
Jm Data Center Portfolio (Resumido)
Jm   Data Center Portfolio  (Resumido)Jm   Data Center Portfolio  (Resumido)
Jm Data Center Portfolio (Resumido)jormoura
 
Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...
Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...
Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...Eduardo de Lucena Falcão
 
Cloud & AWS: Da teoria à prática
Cloud & AWS: Da teoria à práticaCloud & AWS: Da teoria à prática
Cloud & AWS: Da teoria à práticaRicardo Martins ☁
 
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016Yota Ishida
 
リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介Recruit Technologies
 
How to Become a Thought Leader in Your Niche
How to Become a Thought Leader in Your NicheHow to Become a Thought Leader in Your Niche
How to Become a Thought Leader in Your NicheLeslie Samuel
 

En vedette (12)

Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...
Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...
Tcc_Implantação de um sistema para o gerenciamento de suporte de TI baseado n...
 
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - FatreeA SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree
 
Conceitos e dicas para profissionais de datacenter
Conceitos e dicas para profissionais de datacenterConceitos e dicas para profissionais de datacenter
Conceitos e dicas para profissionais de datacenter
 
Aceco TI
Aceco TIAceco TI
Aceco TI
 
Implementação de PMO para datacenter
Implementação de PMO para datacenterImplementação de PMO para datacenter
Implementação de PMO para datacenter
 
Jm Data Center Portfolio (Resumido)
Jm   Data Center Portfolio  (Resumido)Jm   Data Center Portfolio  (Resumido)
Jm Data Center Portfolio (Resumido)
 
Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...
Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...
Aula 7 - Hands On - Configurando nossa aplicação na AWS com EC2, Elastic Load...
 
Amazon EC2 & VPC HOL
Amazon EC2 & VPC HOLAmazon EC2 & VPC HOL
Amazon EC2 & VPC HOL
 
Cloud & AWS: Da teoria à prática
Cloud & AWS: Da teoria à práticaCloud & AWS: Da teoria à prática
Cloud & AWS: Da teoria à prática
 
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
 
リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介
 
How to Become a Thought Leader in Your Niche
How to Become a Thought Leader in Your NicheHow to Become a Thought Leader in Your Niche
How to Become a Thought Leader in Your Niche
 

Similaire à Montando seu DataCenter Pessoal

1.1.7.5. VUNESP.pptx
1.1.7.5. VUNESP.pptx1.1.7.5. VUNESP.pptx
1.1.7.5. VUNESP.pptxFulanojose
 
VDI CIMCORP
VDI CIMCORPVDI CIMCORP
VDI CIMCORPCIMCORP
 
Somebody save my data! - Gerenciando seus dados com software livre por Daniel...
Somebody save my data! - Gerenciando seus dados com software livre por Daniel...Somebody save my data! - Gerenciando seus dados com software livre por Daniel...
Somebody save my data! - Gerenciando seus dados com software livre por Daniel...Jerônimo Medina Madruga
 
Banco de Dados
Banco de DadosBanco de Dados
Banco de DadosSENAI
 
NetBackup 7.5 O que há de Novo
NetBackup 7.5 O que há de NovoNetBackup 7.5 O que há de Novo
NetBackup 7.5 O que há de NovoAllen Informática
 
AULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptx
AULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptxAULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptx
AULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptxEduardoVieira60325
 
Sistemas operacionais aula 13
Sistemas operacionais aula 13Sistemas operacionais aula 13
Sistemas operacionais aula 13Anderson Henrique
 
Valdir Adorni Career
Valdir Adorni CareerValdir Adorni Career
Valdir Adorni CareerValdir Adorni
 
Apresentação sobre backups 12-11-16 by luciano oliveira
Apresentação sobre backups   12-11-16 by luciano oliveiraApresentação sobre backups   12-11-16 by luciano oliveira
Apresentação sobre backups 12-11-16 by luciano oliveiraLuciano Oliveira
 
Dan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamentoDan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamentoRodrigo Amorim
 
Dan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamentoDan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamentoRodrigo Amorim
 
Componentes de Hardware e Servidores
Componentes de Hardware e ServidoresComponentes de Hardware e Servidores
Componentes de Hardware e Servidorestiredes
 
Backup - Segurança Interna
Backup - Segurança InternaBackup - Segurança Interna
Backup - Segurança Internaelliando dias
 
Planejamento de Capacidade e Desempenho de Backup em Disco
Planejamento de Capacidade e Desempenho de Backup em DiscoPlanejamento de Capacidade e Desempenho de Backup em Disco
Planejamento de Capacidade e Desempenho de Backup em DiscoKleber Silva
 
Racks, Towers & Storages.pptx
Racks, Towers & Storages.pptxRacks, Towers & Storages.pptx
Racks, Towers & Storages.pptxTalesSilva23
 
Petic Emgetis
Petic EmgetisPetic Emgetis
Petic Emgetisnetimba
 

Similaire à Montando seu DataCenter Pessoal (20)

1.1.7.5. VUNESP.pptx
1.1.7.5. VUNESP.pptx1.1.7.5. VUNESP.pptx
1.1.7.5. VUNESP.pptx
 
VDI CIMCORP
VDI CIMCORPVDI CIMCORP
VDI CIMCORP
 
Somebody save my data! - Gerenciando seus dados com software livre por Daniel...
Somebody save my data! - Gerenciando seus dados com software livre por Daniel...Somebody save my data! - Gerenciando seus dados com software livre por Daniel...
Somebody save my data! - Gerenciando seus dados com software livre por Daniel...
 
Banco de Dados
Banco de DadosBanco de Dados
Banco de Dados
 
NetBackup 7.5 O que há de Novo
NetBackup 7.5 O que há de NovoNetBackup 7.5 O que há de Novo
NetBackup 7.5 O que há de Novo
 
AULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptx
AULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptxAULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptx
AULA COMPUTAÇAO EM NUVEM - CLOUD COMPUTING.pptx
 
Sistemas operacionais aula 13
Sistemas operacionais aula 13Sistemas operacionais aula 13
Sistemas operacionais aula 13
 
Valdir Adorni Career
Valdir Adorni CareerValdir Adorni Career
Valdir Adorni Career
 
Segurança em Nuvem - Aspectos Práticos
Segurança em Nuvem - Aspectos PráticosSegurança em Nuvem - Aspectos Práticos
Segurança em Nuvem - Aspectos Práticos
 
Apresentação sobre backups 12-11-16 by luciano oliveira
Apresentação sobre backups   12-11-16 by luciano oliveiraApresentação sobre backups   12-11-16 by luciano oliveira
Apresentação sobre backups 12-11-16 by luciano oliveira
 
Dan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamentoDan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamento
 
Dan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamentoDan scientia o que são dispositivos de armazenamento
Dan scientia o que são dispositivos de armazenamento
 
Componentes de Hardware e Servidores
Componentes de Hardware e ServidoresComponentes de Hardware e Servidores
Componentes de Hardware e Servidores
 
Arcserve - Cloud Direct
Arcserve - Cloud DirectArcserve - Cloud Direct
Arcserve - Cloud Direct
 
Datawarehouse
DatawarehouseDatawarehouse
Datawarehouse
 
Guardando dados na nuvem
Guardando dados na nuvemGuardando dados na nuvem
Guardando dados na nuvem
 
Backup - Segurança Interna
Backup - Segurança InternaBackup - Segurança Interna
Backup - Segurança Interna
 
Planejamento de Capacidade e Desempenho de Backup em Disco
Planejamento de Capacidade e Desempenho de Backup em DiscoPlanejamento de Capacidade e Desempenho de Backup em Disco
Planejamento de Capacidade e Desempenho de Backup em Disco
 
Racks, Towers & Storages.pptx
Racks, Towers & Storages.pptxRacks, Towers & Storages.pptx
Racks, Towers & Storages.pptx
 
Petic Emgetis
Petic EmgetisPetic Emgetis
Petic Emgetis
 

Plus de elliando dias

Clojurescript slides
Clojurescript slidesClojurescript slides
Clojurescript slideselliando dias
 
Why you should be excited about ClojureScript
Why you should be excited about ClojureScriptWhy you should be excited about ClojureScript
Why you should be excited about ClojureScriptelliando dias
 
Functional Programming with Immutable Data Structures
Functional Programming with Immutable Data StructuresFunctional Programming with Immutable Data Structures
Functional Programming with Immutable Data Structureselliando dias
 
Nomenclatura e peças de container
Nomenclatura  e peças de containerNomenclatura  e peças de container
Nomenclatura e peças de containerelliando dias
 
Polyglot and Poly-paradigm Programming for Better Agility
Polyglot and Poly-paradigm Programming for Better AgilityPolyglot and Poly-paradigm Programming for Better Agility
Polyglot and Poly-paradigm Programming for Better Agilityelliando dias
 
Javascript Libraries
Javascript LibrariesJavascript Libraries
Javascript Librarieselliando dias
 
How to Make an Eight Bit Computer and Save the World!
How to Make an Eight Bit Computer and Save the World!How to Make an Eight Bit Computer and Save the World!
How to Make an Eight Bit Computer and Save the World!elliando dias
 
A Practical Guide to Connecting Hardware to the Web
A Practical Guide to Connecting Hardware to the WebA Practical Guide to Connecting Hardware to the Web
A Practical Guide to Connecting Hardware to the Webelliando dias
 
Introdução ao Arduino
Introdução ao ArduinoIntrodução ao Arduino
Introdução ao Arduinoelliando dias
 
Incanter Data Sorcery
Incanter Data SorceryIncanter Data Sorcery
Incanter Data Sorceryelliando dias
 
Fab.in.a.box - Fab Academy: Machine Design
Fab.in.a.box - Fab Academy: Machine DesignFab.in.a.box - Fab Academy: Machine Design
Fab.in.a.box - Fab Academy: Machine Designelliando dias
 
The Digital Revolution: Machines that makes
The Digital Revolution: Machines that makesThe Digital Revolution: Machines that makes
The Digital Revolution: Machines that makeselliando dias
 
Hadoop - Simple. Scalable.
Hadoop - Simple. Scalable.Hadoop - Simple. Scalable.
Hadoop - Simple. Scalable.elliando dias
 
Hadoop and Hive Development at Facebook
Hadoop and Hive Development at FacebookHadoop and Hive Development at Facebook
Hadoop and Hive Development at Facebookelliando dias
 
Multi-core Parallelization in Clojure - a Case Study
Multi-core Parallelization in Clojure - a Case StudyMulti-core Parallelization in Clojure - a Case Study
Multi-core Parallelization in Clojure - a Case Studyelliando dias
 

Plus de elliando dias (20)

Clojurescript slides
Clojurescript slidesClojurescript slides
Clojurescript slides
 
Why you should be excited about ClojureScript
Why you should be excited about ClojureScriptWhy you should be excited about ClojureScript
Why you should be excited about ClojureScript
 
Functional Programming with Immutable Data Structures
Functional Programming with Immutable Data StructuresFunctional Programming with Immutable Data Structures
Functional Programming with Immutable Data Structures
 
Nomenclatura e peças de container
Nomenclatura  e peças de containerNomenclatura  e peças de container
Nomenclatura e peças de container
 
Geometria Projetiva
Geometria ProjetivaGeometria Projetiva
Geometria Projetiva
 
Polyglot and Poly-paradigm Programming for Better Agility
Polyglot and Poly-paradigm Programming for Better AgilityPolyglot and Poly-paradigm Programming for Better Agility
Polyglot and Poly-paradigm Programming for Better Agility
 
Javascript Libraries
Javascript LibrariesJavascript Libraries
Javascript Libraries
 
How to Make an Eight Bit Computer and Save the World!
How to Make an Eight Bit Computer and Save the World!How to Make an Eight Bit Computer and Save the World!
How to Make an Eight Bit Computer and Save the World!
 
Ragel talk
Ragel talkRagel talk
Ragel talk
 
A Practical Guide to Connecting Hardware to the Web
A Practical Guide to Connecting Hardware to the WebA Practical Guide to Connecting Hardware to the Web
A Practical Guide to Connecting Hardware to the Web
 
Introdução ao Arduino
Introdução ao ArduinoIntrodução ao Arduino
Introdução ao Arduino
 
Minicurso arduino
Minicurso arduinoMinicurso arduino
Minicurso arduino
 
Incanter Data Sorcery
Incanter Data SorceryIncanter Data Sorcery
Incanter Data Sorcery
 
Rango
RangoRango
Rango
 
Fab.in.a.box - Fab Academy: Machine Design
Fab.in.a.box - Fab Academy: Machine DesignFab.in.a.box - Fab Academy: Machine Design
Fab.in.a.box - Fab Academy: Machine Design
 
The Digital Revolution: Machines that makes
The Digital Revolution: Machines that makesThe Digital Revolution: Machines that makes
The Digital Revolution: Machines that makes
 
Hadoop + Clojure
Hadoop + ClojureHadoop + Clojure
Hadoop + Clojure
 
Hadoop - Simple. Scalable.
Hadoop - Simple. Scalable.Hadoop - Simple. Scalable.
Hadoop - Simple. Scalable.
 
Hadoop and Hive Development at Facebook
Hadoop and Hive Development at FacebookHadoop and Hive Development at Facebook
Hadoop and Hive Development at Facebook
 
Multi-core Parallelization in Clojure - a Case Study
Multi-core Parallelization in Clojure - a Case StudyMulti-core Parallelization in Clojure - a Case Study
Multi-core Parallelization in Clojure - a Case Study
 

Montando seu DataCenter Pessoal

  • 1. Montando seu DataCenter Pessoal Fernando Massen 17 de agosto de 2008 1 / 36
  • 2. Motiva¸oes c˜ Vida Digital Moderna Backups Motiva¸˜o Pessoal ca Motiva¸˜o Pessoal ca (cont.) Backend Motiva¸oes c˜ Id´ias e Recursos Final 2 / 36
  • 3. Vida Digital Moderna Motiva¸oes c˜ s Textos (documentos, HTML, texto puro, Vida Digital documenta¸oes, PDFs) c˜ Moderna Backups s Fotos (digitalizadas, digitais, “interessantes”) Motiva¸˜o Pessoal ca Motiva¸˜o Pessoal ca s V´ıdeos (cont.) s Bancos de dados sobre as coisas acima Backend s Al´m do armazenamento, tem o problema da exibi¸˜o e ca Id´ias e e disponibilidade Recursos Final 3 / 36
  • 4. Backups s o a Gravar num disco s´ significa n˜o ter dados Motiva¸oes c˜ Vida Digital s Redundˆncia tamb´m s´ conta quando se tem pelo a e o Moderna Backups menos duas c´pias al´m do original o e Motiva¸˜o Pessoal ca Motiva¸˜o Pessoal ca s H´ necessidade de indexa¸˜o dos backups j´ a ca a (cont.) realizados, para n˜o perder tempo restaurando a Backend quando o “queim˜o”/inunda¸˜o vier a ca Id´ias e s De preferˆncia, h´ uma certa necessidade de e a Recursos distribui¸˜o geogr´fica das c´pias de seguran¸a. ca a o c Final s Tudo isso depende do quanto vocˆ valoriza os dados e s H´ uma ilus˜o de que quanto maior o disco r´ a a ıgido (por ser mais moderno) mais coisas cabem impunemente nele. 4 / 36
  • 5. Motiva¸˜o Pessoal ca s a O PowerMac G3 que era minha m´quina principal j´ a Motiva¸oes c˜ Vida Digital estava come¸ando a ficar pesado como servidor de c Moderna Backups arquivos e Internet para outros usu´rios (tinha 4 a Motiva¸˜o Pessoal ca Motiva¸˜o Pessoal ca usu´rios, j´!). Al´m disso, as gambiarras para fazer o a a e (cont.) OS X funcionar como servidor j´ estavam consumindo a Backend muito meu tempo Id´ias e s Minha cole¸˜o de computadores come¸ou a ficar ca c Recursos grande demais: boa oportunidade de organizar a rede Final de forma funcional e que trouxesse maior utilidade s Laborat´rio para testes o 5 / 36
  • 6. Motiva¸˜o Pessoal (cont.) ca s Utilizar um ambiente neutro de forma a n˜o se fixar a Motiva¸oes c˜ Vida Digital em um unico fornecedor de hardware ou sistema ´ Moderna Backups operacional Motiva¸˜o Pessoal ca Motiva¸˜o Pessoal ca s Guardar todas as tralhas e bugigangas digitais de (cont.) forma organizada e f´cil de pesquisar a Backend s Disponibilizar um ambiente que resista a mudan¸asc Id´ias e (f´ ısicas, de topologia, de equipamento, de sistema Recursos operacional, de humor) Final s S´ o software aberto permite essa maleabilidade. o Provavelmente ser´ assim no futuro tamb´m a e 6 / 36
  • 7. Motiva¸oes c˜ Backend Servi¸os c Interessantes (ehh... indispens´veis) a Compartilhando arquivos Sistema Operacional Linux Backend FreeBSD OpenBSD OpenSolaris OpenSolaris Id´ias e Recursos Final 7 / 36
  • 8. Servi¸os Interessantes (ehh... indispens´veis) c a s FTP Motiva¸oes c˜ Backend s HTTP (Apache) + WebDAV + PHP + mod python Servi¸os c Interessantes (ehh... + mod perl indispens´veis) a s Tomcat + conector Apache Compartilhando arquivos s PostgreSQL e/ou MySQL + servi¸o de gerˆncia via c e Sistema Operacional Linux Web FreeBSD s LDAP OpenBSD OpenSolaris s CUPS (impress˜o) a OpenSolaris s SANE (scanner) Id´ias e s DNS Recursos s DHCP Final s PPPoE para ADSL s SAMBA, NFS, SSHfs 8 / 36
  • 9. Compartilhando arquivos Do mais ub´ ıquo ao menos ub´ ıquo, por sistema: Motiva¸oes c˜ Backend s SMB (Windows, Linux, OpenSolaris, MacOS) Servi¸os c Interessantes (ehh... s NFS (Qualquer Unix-like, para servir incluindo o indispens´veis) a Compartilhando Windows) arquivos Sistema Operacional s SSHfs (Linux, FreeBSD, MacOS) Linux s WebDAV (Linux, MacOS, Windows) FreeBSD OpenBSD s FTP (qualquer coisa, mas s´ se for extremamente o OpenSolaris necess´rio) a OpenSolaris Id´ias e Recursos Final 9 / 36
  • 10. Sistema Operacional s A escolha de sistema operacional vai realmente ao Motiva¸oes c˜ Backend gosto e ` vontade de aprender do administrador a Servi¸os c Interessantes (ehh... caseiro indispens´veis) a s Em todas as sugest˜es que citarei os sistemas s˜o o a Compartilhando arquivos capazes de realizar as fun¸oes que eu sugiro e c˜ Sistema Operacional Linux implementar o backend de servi¸os do slide anterior c FreeBSD s Em ordem de popularidade / dificuldade de encontrar OpenBSD OpenSolaris documentac˜o: Linux ¿ FreeBSD ¿ OpenBSD ¿ Mac a OpenSolaris OS X ¿ Solaris Id´ias e Recursos Final 10 / 36
  • 11. Linux s Obviamente o mais conhecido Motiva¸oes c˜ Backend s O que ter´ documenta¸˜o mais farta e completa, com a ca Servi¸os c Interessantes (ehh... certas diferen¸as para cada distribui¸˜o c ca indispens´veis) a s Dentre os Linux, sempre optei pelo Slackware, por vir Compartilhando arquivos sem muitos enfeites e modifica¸oes na forma de rodar c˜ Sistema Operacional Linux os servi¸os (e sem muitas pol´ c ıticas de uso, tamb´m)e FreeBSD s Alguns servi¸os s´ rodam em Linux, ou rodam mais c o OpenBSD OpenSolaris facilmente neste OpenSolaris s Algumas coisas que interagiam com o hardware, como Id´ias e o PPPoE, se mostraram extremamente dif´ ıceis e Recursos tediosas de se configurar. De resto, foi realmente Final tranq¨ilo u s A performance ´ fant´stica e a s Comparado com o PF do FreeBSD/OpenBSD, tive que gastar muito mais tempo para deixar a m´quina a segura como queria s Por quest˜es de preferˆncia pessoal, uso sempre XFS o e 11 / 36
  • 12. FreeBSD s Voltado para servidores de rede Motiva¸oes c˜ Backend s Bem-documentado, com pontos positivos para a Servi¸os c Interessantes (ehh... documenta¸˜o ser centralizada ca indispens´veis) a s Achei o mais f´cil de configurar entre os sistemas que a Compartilhando arquivos eu utilizei, principalmente por causa da documenta¸˜o ca Sistema Operacional Linux FreeBSD s A performance tamb´m ´ excelente e e OpenBSD OpenSolaris s Tem algumas idiossincrasias na configura¸˜o, mas s˜o ca a OpenSolaris f´ceis de se adaptar; o sistema de logging ´ mais a e Id´ias e espec´ıfico na hora de resolver problemas Recursos Final 12 / 36
  • 13. OpenBSD s Voltado para seguran¸a e servidores c Motiva¸oes c˜ Backend s Documenta¸˜o sucinta e sempre correta ca Servi¸os c Interessantes (ehh... s Com menos features do que o Linux ou FreeBSD, indispens´veis) a mas a simplicidade e a falta de constante manuten¸˜oca Compartilhando arquivos compensa Sistema Operacional Linux s O aspecto seguran¸a est´ evidente em todos os c a FreeBSD detalhes OpenBSD OpenSolaris s O que tem a pior performance de disco entre todos os OpenSolaris sistemas utilizados; a parte boa ´ a integridade dos e Id´ias e dados Recursos s A configura¸˜o exige uma certa curva de aprendizado, ca Final mas ela s´ ´ galgada uma vez; dificilmente algo oe muda no OpenBSD de forma a necessitar um reaprendizado 13 / 36
  • 14. OpenSolaris s ´ E o mesmo Solaris de sempre, com algumas coisas a Motiva¸oes c˜ Backend menos (que n˜o fazem muita falta, a n˜o ser a a Servi¸os c Interessantes (ehh... saudosistas como eu) indispens´veis) a Compartilhando s Tem uma userland anci˜, embora projetos como o a arquivos Nexenta (Ubuntu + OpenSolaris) mudam essa Sistema Operacional Linux perspectiva FreeBSD s ´ E o mais obscuro em termos de documenta¸˜o eca OpenBSD OpenSolaris configura¸˜o, e nem sempre a documenta¸˜o que se ca ca OpenSolaris encontra por a´ fala a verdade; o melhor ainda ´ a ı e Id´ias e Recursos documenta¸˜o oficial da Sun ca Final s A estabilidade ´ boa, mas n˜o conversa muito bem e a com PPPoE e n˜o tem suporte ` certos gadgets USB, a a assim como Bluetooth; dos sistemas testados, ´ o que e tem pior suporte ` hardware (no sentido de escassez, a n˜o no sentido de features em hardware suportado) a 14 / 36
  • 15. OpenSolaris s Coisas como o ZFS, Zones fazem com que vale a Motiva¸oes c˜ Backend pena testar o sistema Servi¸os c Interessantes (ehh... s O sistema de firewalling ´ parecido com o PF dos e indispens´veis) a BSDs Compartilhando arquivos s Se vocˆ comprar um hardware Sun mais antigo, vai e Sistema Operacional Linux ter que aprender o Solaris na marra caso resolva FreeBSD continuar com ele na m´quina a OpenBSD OpenSolaris OpenSolaris Id´ias e Recursos Final 15 / 36
  • 16. Motiva¸oes c˜ Backend Id´ias e Sistema de Backup Automatizado ZFS Webcam / TV Banco de Dados de Id´ias e Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 16 / 36
  • 17. Sistema de Backup Automatizado s Rsync Motiva¸oes c˜ Backend s Cron Id´ias e s Base do comando: time rsync -tubrvv Sistema de Backup Automatizado --backup-dir=/backupdir/$TIME origem ZFS destino Webcam / TV Banco de Dados de Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 17 / 36
  • 18. ZFS s M´quina dedicada para ZFS a Motiva¸oes c˜ Backend s V´rios discos a Id´ias e s Set-up incrivelmente f´cil a Sistema de Backup Automatizado s Administra¸˜o incrivelmente f´cil, quase autom´tica ca a a ZFS s Raid X, mirrors, backups, tudo muito f´cil de se fazer a Webcam / TV Banco de Dados de Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 18 / 36
  • 19. Webcam / TV s Fotos em momentos aleat´rios o Motiva¸oes c˜ Backend s Seguran¸a c Id´ias e s Detec¸˜o de movimento ca Sistema de Backup Automatizado s MythTV no servidor! ZFS s Funciona melhor com Linux Webcam / TV Banco de Dados de Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 19 / 36
  • 20. Banco de Dados de Conte´do u s Indexar o conte´do em DVDs e CDs u Motiva¸oes c˜ Backend s Criar pr´vias e Id´ias e s Armazenar em BDs Sistema de Backup Automatizado s Fazer aplicativo Web para consultas ZFS Webcam / TV Banco de Dados de Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 20 / 36
  • 21. Streamer s Filmes ficam no HD Motiva¸oes c˜ Backend s Escolhe-se um software de streaming Id´ias e s (muita dor-de-cabe¸a) c Sistema de Backup Automatizado s Profit! ZFS s Tente achar uma placa BT878, facilita bastante Webcam / TV Banco de Dados de s e ca u A mesma id´ia se aplica para sua cole¸˜o de m´sicas Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 21 / 36
  • 22. Controle de vers˜o a s Com git, cvs, subversion, etc. Motiva¸oes c˜ Backend s Controle as configurac˜es do seu servidor o Id´ias e s Controle seu diret´rio $HOME com controle de vers˜o o a Sistema de Backup Automatizado ZFS s Instale o viewvc para navegar nos arquivos-fonte Webcam / TV Banco de Dados de s Instale o statcvs para gerar estat´ ısticas sobre os Conte´do u Streamer arquivos-fonte Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 22 / 36
  • 23. Mails Motiva¸oes c˜ s Versione os seus e-mails (se forem em .mbox fica mais Backend f´cil) a Id´ias e s Com os e-mails versionados vocˆ pode rodar o e Sistema de Backup Automatizado mhonarc nas suas mboxes e partir para a pr´xima o ZFS sugest˜o... a Webcam / TV Banco de Dados de s Listas de discuss˜o (´til para condom´ a u ınios) Conte´do u Streamer s E-mails de alerta (falhas de hardware, reboots Controle de vers˜o a inesperados, trocas de IP); use o twitter tamb´m! e Mails Mini-Google s Baixar e-mails do GMail localmente, para evitar de Cache de HTML Bugzilla / Trac depender do Google Recursos Final 23 / 36
  • 24. Mini-Google s Baixar meio-mundo atrav´s do wget e Motiva¸oes c˜ Backend s Deixar todos os HTMLs baixados atrav´s de um e Id´ias e diret´rio acess´ via Apache o ıvel Sistema de Backup Automatizado s Utilizar o ht.dig para indexar ZFS s Profit! Webcam / TV Banco de Dados de s Aplica-se a PDFs tamb´m, se configurado e Conte´do u Streamer corretamente Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 24 / 36
  • 25. Cache de HTML s Instale o squid e bloqueie os seus sites n˜o-preferidos a Motiva¸oes c˜ Backend s Economiza banda e acelera o acesso Id´ias e s Gere estat´ısticas de acesso ao seu apache e ao squid Sistema de Backup Automatizado com o Webalizer ZFS Webcam / TV Banco de Dados de Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 25 / 36
  • 26. Bugzilla / Trac s Para controlar as tarefas relacionadas ao datacenter Motiva¸oes c˜ Backend s Tamb´m serve como lista de atividades e Id´ias e s Gera informac˜es para o e-mail local o Sistema de Backup Automatizado ZFS Webcam / TV Banco de Dados de Conte´do u Streamer Controle de vers˜o a Mails Mini-Google Cache de HTML Bugzilla / Trac Recursos Final 26 / 36
  • 27. Motiva¸oes c˜ Backend Id´ias e Recursos Consumo de Recursos Equa¸˜o de ca Fernando para Recursos Possibilidade De Montar Datacenters em Casa Exemplo f´cil a Exemplo com um pouco de sofistica¸˜o ca Exemplo sofisticado Perto do Ideal Final 27 / 36
  • 28. Consumo de Recursos s Tempo Motiva¸oes c˜ Backend s Dinheiro (a.k.a. limitador de prazeres) Id´ias e s Espa¸o c Recursos s Trˆs fatores em fun¸˜o da vontade de aprender e ca Consumo de Recursos s Os itens a seguir s˜o quase cient´ a ıficos. Calculei os Equa¸˜o de ca Fernando para pre¸os conforme o que encontrei ` venda nos c a Possibilidade De Montar Datacenters arredores de Porto Alegre, n˜o procurando beneficiar a em Casa Exemplo f´cil a nenhum fabricante ou loja Exemplo com um s Vale a pena dizer que, como o assunto ´ amplo, tudo e pouco de sofistica¸˜o ca ´ uma quest˜o de sugest˜o; n˜o h´ leis a serem e a a a a Exemplo sofisticado Perto do Ideal seguidas, somente o bom senso Final 28 / 36
  • 29. Equa¸˜o de Fernando para Possibilidade De Montar ca Datacenters em Casa Motiva¸oes c˜ dc = (t + d + e) ∗ va Backend vm Id´ias e s dc → datacenter Recursos Consumo de s t → tempo Recursos Equa¸˜o de ca s d → dinheiro Fernando para Possibilidade De s e → espa¸o c Montar Datacenters em Casa s va → vontade de aprender Exemplo f´cil a Exemplo com um s vm → vontade da mulher de deixar vocˆ bagun¸ar a e c pouco de sofistica¸˜o ca casa Exemplo sofisticado Perto do Ideal Final 29 / 36
  • 30. Exemplo f´cil a Motiva¸oes c˜ s Micro de R$ 500 de supermercado Backend s Monitor opcional, s´ necess´rio durante a instala¸˜o; o a ca Id´ias e vem com gravador de CD, pelo menos Recursos s Um switch de rede fundo-de-quintal + cabos por Consumo de Recursos menos de R$ 100 Equa¸˜o de ca Fernando para s Ubuntu Server Possibilidade De Montar Datacenters s Benef´ıcios imediatos: servidor de arquivos, grava CDs, em Casa Exemplo f´cil a permite a coloca¸˜o de um banco de dados e PHP ca Exemplo com um pouco de sem esfor¸o c sofistica¸˜o ca s Vai falhar em um ano; pense R$ 20 por mˆs para e Exemplo sofisticado Perto do Ideal efetuar backups Final s Se der tudo certo, gastar´ ao todo de tempo com o a micro em torno de 12 horas por ano s Vai gastar luz enquanto vocˆ o estiver utilizando. e 30 / 36
  • 31. Exemplo com um pouco de sofistica¸˜o ca Motiva¸oes c˜ s Micro de R$ 1.200 de um fabricante Backend s Monitor opcional, mas vem com gravador de DVD e Id´ias e um disco maior Recursos s Acessa ADSL e compartilha, digamos, com seu laptop Consumo de Recursos s P˜e-se a´ mais uns R$ 300 num Access Point o ı Equa¸˜o de ca Fernando para s Vocˆ vai gastar mais com backups e com grava¸˜o de e ca Possibilidade De Montar Datacenters DVDs; provavelmente outro disco depois de mais um em Casa Exemplo f´cil a tempo. Imagine o dobro dos R$ 20 do exemplo Exemplo com um pouco de anterior sofistica¸˜o ca s Wi-Fi, NAT exige um pouco mais de dedica¸˜o; ca Exemplo sofisticado Perto do Ideal monitorar a conex˜o tamb´m. a e Final s O gasto com energia el´trica (j´ que ficar´ ligado e a a todo o tempo) aumenta pelo menos R$ 15 a mais na conta. Uma m´quina econˆmica ou n˜o-x86 pode a o a tornar o gasto neglig´ ıvel s Algumas vezes por semana vocˆ ter´ de verificar se e a est´ tudo em dia. Calcule pelo menos meia hora por a 31 / 36 semana.
  • 32. Exemplo sofisticado Motiva¸oes c˜ s Micro de R$ 2.500 de um fabricante ou personalizado Backend s Acessa ADSL, monitora seguran¸a c Id´ias e personalizadamente, possui v´rios servi¸os de rede. a c Recursos s Fornece aplica¸oes customizadas, testes do que vocˆ c˜ e Consumo de Recursos faz no trabalho, arquivos, tem automa¸oes, serve c˜ Equa¸˜o de ca Fernando para impress˜o, e-mail, etc. a Possibilidade De Montar Datacenters s O gasto de hardware excedente (al´m da pr´pria e o em Casa Exemplo f´cil a m´quina) ´ ligeiramente maior, porque haver˜o mais a e a Exemplo com um pouco de discos, e quanto mais discos, maior ´ o n´ de falha. e ıvel sofistica¸˜o ca s O maior gasto ser´ de tempo. Quando uma falha a Exemplo sofisticado Perto do Ideal ocorrer, j´ que estamos tratando com hardware a Final off-the-shelf, vocˆ ter´ que descobrir o problema e e a ser capaz de arrumar. A partir de um certo momento, fica complicado passar o conserto do seu set-up adiante. 32 / 36
  • 33. Perto do Ideal Motiva¸oes c˜ s Hardware dedicado para a conex˜o de internet (pelo a Backend menos R$ 500) Id´ias e s Hardware dedicado para armazenamento de dados Recursos (pelo menos R$ 2.000) Consumo de Recursos s Redundˆncia de discos; pelo menos 1 TB de a Equa¸˜o de ca Fernando para armazenamento com redundˆncia; discos confi´veis a a Possibilidade De Montar Datacenters passam a custar pelo menos R$ 2.000 por terabyte em Casa Exemplo f´cil a s Hardware de processamento mais sofisticado, com Exemplo com um pouco de v´rios processadores, mem´rias de maior qualidade, a o sofistica¸˜o ca fontes redundantes; m´quinas assim come¸am a a c Exemplo sofisticado Perto do Ideal custar a partir de R$ 5.000 Final s Dependendo do que vocˆ fizer, vocˆ come¸a a e e c descobrir caracter´ ısticas avan¸adas do Linux, ou parte c para outros sistemas operacionais que possuem essas caracter´ ısticas s Gastando mais que R$ 30 de energia el´trica por mˆs e e 33 / 36
  • 34. Motiva¸oes c˜ Backend Id´ias e Recursos Final Meu set-up Quest˜es? o Final 34 / 36
  • 35. Meu set-up s Dom´ ınio: ap704 Motiva¸oes c˜ Backend s inferno: Celeron D 2.6 Ghz, 712 Mb RAM, NAT, Id´ias e DNS, DHCP, POP3, WWW (...), ao todo 1TB+ de Recursos disco contando o espelhamento Final s rio: PPC G3 450 Mhz, 160 Gb de disco, para backups Meu set-up Quest˜es? o e escrever s sam: Mac Mini G4 1.2, ligado na TV, lendo arquivos da rede via sshfs s Diversos clientes: x86, sparc, PPC, com mirroring de conte´do e backups distribu´ u ıdos 35 / 36
  • 36. Quest˜es? o Obrigado. Motiva¸oes c˜ Backend plan9ner@gmail.com Id´ias e http://juliobiason.net/ferhr Recursos Final Meu set-up Quest˜es? o 36 / 36