SlideShare une entreprise Scribd logo
1  sur  21
Télécharger pour lire hors ligne
Situação do processo de
migração para PostgreSQL na
         Dataprev
         Leonardo Cezar
Sobre a Dataprev
➔
  Três centros de processamento distribuídos (SP,
RJ, DF)
➔
  Cinco unidades de desenvolvimento (CE, PB, RJ,
SC, SL)
➔
  Ambientes híbridos de sistema operacional e
banco de dados
➔
  Bilhões de informações processadas diariamente
➔
  Clientes: INSS, SRFB, MPS, MTE, MPOG
Motivação

➔
  Racionalização de licenças
➔
  Independência tecnológica
➔
  Redução de custos
Por que PostgreSQL?

 suporte da comunidade extensível escalável
 Administração simples grandes volumes de dados

  segurança gratuito e livre licença adequada
  relacional MVCC LDAP over deployment custo
 confiabilidade integridade tipos customizados
   estabilidade multiplataforma ACID Rules
Integridade Referencial SSL Kerberos linguagens procedurais LDAP
Critérios

➔
  Demanda do cliente
➔
  Quantidade de pontos de função
➔
  Complexidade das regras de negócios
➔
  Número de TPS
➔
  Arquitetura da aplicação
➔
  Estabilidade do produto
Fases da Migração

➔
  Definição de um processo (protocolo) comum para
todos ambientes
➔
  Refatoração da aplicação e conectores
➔
  Revisão da arquitetura
➔
  Sustentação operacional
Protocolo de migração (v.0.1)

➔
  Definição formal do processo
➔
  Padronização de técnicas
➔
  Monitoramento das fases de migração
➔
  Elaborado com EPF
➔
  Relacionar com fases do processo de
desenvolvimento dataprev (pddataprev)
Processo de migração

              ➔
                Tipos de migração
            ➔
              Migração de aplicação
          ➔
            Migração de base de dados
    ➔
      Migração de aplicação e base de dados
               (desenvolvimento)
Processo de migração: Identificação

➔
  Informações sobre a infraestrutura
➔
  Cópia de segurança
➔
  Disponibilidade
➔
  Compatibilidade da aplicação
Processo de migração: Planejamento

➔
  Documento de visão
     – Informações sobre a aplicação
     – Requisitos da aplicação
     – Cenário de utilização de aplicação
➔
  Documento de escopo
➔
  Cronograma preliminar
Processo de migração: Análise

➔
  Características da aplicação
➔
  Rastreabilidade de dependências
     – Estudo preliminar (obter poucas
         informações)
     – Análise completa (visões, SPs, JOBs, &c)
Processo de migração: Execução

➔
  Migração de grupos e roles
➔
  Migração de DDL
➔
  Exportação de dados
➔
  Procedimentos armazenados
➔
  Views
➔
  Triggers
➔
  Jobs e Cargas
Ferramentas de apoio

➔
    Estrutura/Dados
        – mssqltopg
        – FreeTDS
        – SQLFairy
        – Dump2pg
        – Pentaho Data Integration (kettle)
Ferramentas de apoio

➔
    Integração
        – Foreign data wrappers
        – DBI Link
        – Dblink
        – Pentaho Data Integration (kettle)
Sustentação do ambiente

➔
  Disponibilidade
➔
  Monitoramento
➔
  Manutenção evolutiva
Principais casos de sucesso

➔
  Sistema de gestão de passagens
➔
  Guia de recolhimento da união
➔
  Sistema de acompanhamento de processos
Dificuldades encontradas

           ➔
               Capacitação da equipe
        ➔
           Inconsistências no framework
               ➔
                 Extrações binárias
         ➔
            Softwares de gerenciamento
                     ➔
                        Cultura
                      ➔
                        Vícios
          ➔
            Ferramentas de modelagem
        ➔
           Ferramentas de administração
                      ➔
                         Mitos
Próximas etapas


     ➔
       Aquisição de software de modelagem
    ➔
      Aquisição de software de administração
    ➔
      Melhor integração entre outros sistemas
            ➔
              Atualização de versões
Dúvidas?

leonardo.cezar@dataprev.gov.br
@lhcezar

Contenu connexe

En vedette

Psicologia da sobrevivencia
Psicologia da sobrevivenciaPsicologia da sobrevivencia
Psicologia da sobrevivenciaDaniel Cepa
 
Curso Organizacao de Financas Pessoais
Curso Organizacao de Financas Pessoais Curso Organizacao de Financas Pessoais
Curso Organizacao de Financas Pessoais Grupo Treinar
 
WorkShop Seguranca da Informacao - Hardning
WorkShop Seguranca da Informacao - HardningWorkShop Seguranca da Informacao - Hardning
WorkShop Seguranca da Informacao - HardningGrupo Treinar
 
Curso Tecnicas de Apresentacao: Falar para Liderar
Curso Tecnicas de Apresentacao: Falar para LiderarCurso Tecnicas de Apresentacao: Falar para Liderar
Curso Tecnicas de Apresentacao: Falar para LiderarGrupo Treinar
 
BONUSCARD PREMIUM NOVO-OK.ppt
BONUSCARD PREMIUM NOVO-OK.pptBONUSCARD PREMIUM NOVO-OK.ppt
BONUSCARD PREMIUM NOVO-OK.pptfernando doyon
 
O tamanho do seu deus
O tamanho do seu deusO tamanho do seu deus
O tamanho do seu deusisaiasdsh
 
Exportcion de alcahofa de la libertad
Exportcion de alcahofa de la libertad Exportcion de alcahofa de la libertad
Exportcion de alcahofa de la libertad Yesenia Villavicencio
 
Notas finales
Notas finalesNotas finales
Notas finalesbhylenia
 
El renacimiento en el extrangero
El renacimiento en el extrangeroEl renacimiento en el extrangero
El renacimiento en el extrangeroMarlene Espinoza
 
Livro 1 conceitos básicos
Livro 1 conceitos básicosLivro 1 conceitos básicos
Livro 1 conceitos básicosJ M
 
Nuno e paulo por uma escola limpa pdf
Nuno e  paulo por uma escola limpa pdfNuno e  paulo por uma escola limpa pdf
Nuno e paulo por uma escola limpa pdfMARIANA10FERREIRA
 
Tarsila do-amaral-1213662073678132-9
Tarsila do-amaral-1213662073678132-9Tarsila do-amaral-1213662073678132-9
Tarsila do-amaral-1213662073678132-9celma50
 
Atalhos e dicas para ilustrator
Atalhos e dicas para ilustratorAtalhos e dicas para ilustrator
Atalhos e dicas para ilustratormariia_babiichuk
 
Pacote WorkShops em Seguranca da Informacao
Pacote WorkShops em  Seguranca da Informacao  Pacote WorkShops em  Seguranca da Informacao
Pacote WorkShops em Seguranca da Informacao Grupo Treinar
 
Apresentação PDI - 15/11/2012
Apresentação PDI - 15/11/2012Apresentação PDI - 15/11/2012
Apresentação PDI - 15/11/2012João Nascimento
 

En vedette (20)

Psicologia da sobrevivencia
Psicologia da sobrevivenciaPsicologia da sobrevivencia
Psicologia da sobrevivencia
 
Curso Organizacao de Financas Pessoais
Curso Organizacao de Financas Pessoais Curso Organizacao de Financas Pessoais
Curso Organizacao de Financas Pessoais
 
WorkShop Seguranca da Informacao - Hardning
WorkShop Seguranca da Informacao - HardningWorkShop Seguranca da Informacao - Hardning
WorkShop Seguranca da Informacao - Hardning
 
Curso Tecnicas de Apresentacao: Falar para Liderar
Curso Tecnicas de Apresentacao: Falar para LiderarCurso Tecnicas de Apresentacao: Falar para Liderar
Curso Tecnicas de Apresentacao: Falar para Liderar
 
BONUSCARD PREMIUM NOVO-OK.ppt
BONUSCARD PREMIUM NOVO-OK.pptBONUSCARD PREMIUM NOVO-OK.ppt
BONUSCARD PREMIUM NOVO-OK.ppt
 
Boletim Especial Belas Artes - Corumbá e Ieda
Boletim Especial Belas Artes - Corumbá e IedaBoletim Especial Belas Artes - Corumbá e Ieda
Boletim Especial Belas Artes - Corumbá e Ieda
 
O tamanho do seu deus
O tamanho do seu deusO tamanho do seu deus
O tamanho do seu deus
 
Exportcion de alcahofa de la libertad
Exportcion de alcahofa de la libertad Exportcion de alcahofa de la libertad
Exportcion de alcahofa de la libertad
 
Mesquinhez parte 1
Mesquinhez   parte 1Mesquinhez   parte 1
Mesquinhez parte 1
 
Notas finales
Notas finalesNotas finales
Notas finales
 
El renacimiento en el extrangero
El renacimiento en el extrangeroEl renacimiento en el extrangero
El renacimiento en el extrangero
 
Livro 1 conceitos básicos
Livro 1 conceitos básicosLivro 1 conceitos básicos
Livro 1 conceitos básicos
 
Crossmedia
CrossmediaCrossmedia
Crossmedia
 
Nuno e paulo por uma escola limpa pdf
Nuno e  paulo por uma escola limpa pdfNuno e  paulo por uma escola limpa pdf
Nuno e paulo por uma escola limpa pdf
 
Tarsila do-amaral-1213662073678132-9
Tarsila do-amaral-1213662073678132-9Tarsila do-amaral-1213662073678132-9
Tarsila do-amaral-1213662073678132-9
 
Atalhos e dicas para ilustrator
Atalhos e dicas para ilustratorAtalhos e dicas para ilustrator
Atalhos e dicas para ilustrator
 
PPP em Saúde - A experiência Pioneira da Bahia
PPP em Saúde - A experiência Pioneira da BahiaPPP em Saúde - A experiência Pioneira da Bahia
PPP em Saúde - A experiência Pioneira da Bahia
 
Pacote WorkShops em Seguranca da Informacao
Pacote WorkShops em  Seguranca da Informacao  Pacote WorkShops em  Seguranca da Informacao
Pacote WorkShops em Seguranca da Informacao
 
Dialogo de la narrativa
Dialogo de la narrativaDialogo de la narrativa
Dialogo de la narrativa
 
Apresentação PDI - 15/11/2012
Apresentação PDI - 15/11/2012Apresentação PDI - 15/11/2012
Apresentação PDI - 15/11/2012
 

Similaire à Migração para PostgreSQL na Dataprev

UNAERP - 04/11 - Digerindo dados com Apache NiFi
UNAERP - 04/11 - Digerindo dados com Apache NiFiUNAERP - 04/11 - Digerindo dados com Apache NiFi
UNAERP - 04/11 - Digerindo dados com Apache NiFiEliézer Zarpelão
 
Tesi Dados Final
Tesi Dados FinalTesi Dados Final
Tesi Dados Finaljcaroso
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharepccdias
 
Big data e mineração de dados
Big data e mineração de dadosBig data e mineração de dados
Big data e mineração de dadosElton Meira
 
Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA
Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDAOficina técnica da Infraestrutura Nacional de Dados Abertos - INDA
Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDAnitaibezerra
 
Tornando se um DevOps sem perder a cabeça #SE7I2016
Tornando se um DevOps sem perder a cabeça #SE7I2016Tornando se um DevOps sem perder a cabeça #SE7I2016
Tornando se um DevOps sem perder a cabeça #SE7I2016Camilla Gomes
 
Master Data Management & Virtualização de Dados em SOA
Master Data Management & Virtualização de Dados em SOAMaster Data Management & Virtualização de Dados em SOA
Master Data Management & Virtualização de Dados em SOARicardo Ferreira
 
Pipeconf no CoffeOps Campinas
Pipeconf no CoffeOps CampinasPipeconf no CoffeOps Campinas
Pipeconf no CoffeOps CampinasAécio Pires
 
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...André Leon S. Gradvohl
 
Apresentação sobre Drupal
Apresentação sobre DrupalApresentação sobre Drupal
Apresentação sobre DrupalWebdrop
 
Material Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos AlexandrukMaterial Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos AlexandrukHebert Alquimim
 
[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data
[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data
[DTC21] Lucas Gomes - Do 0 ao 100 no Big DataDeep Tech Brasil
 
Migrando Aplicações para o SQL Azure Database
Migrando Aplicações para o SQL Azure DatabaseMigrando Aplicações para o SQL Azure Database
Migrando Aplicações para o SQL Azure DatabaseRoberto Fonseca
 
Migrando Aplicações legadas para o Microsoft Azure
Migrando Aplicações legadas para o Microsoft AzureMigrando Aplicações legadas para o Microsoft Azure
Migrando Aplicações legadas para o Microsoft AzureRafael Dos Santos
 

Similaire à Migração para PostgreSQL na Dataprev (20)

UNAERP - 04/11 - Digerindo dados com Apache NiFi
UNAERP - 04/11 - Digerindo dados com Apache NiFiUNAERP - 04/11 - Digerindo dados com Apache NiFi
UNAERP - 04/11 - Digerindo dados com Apache NiFi
 
Tesi Dados Final
Tesi Dados FinalTesi Dados Final
Tesi Dados Final
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
 
Big data e mineração de dados
Big data e mineração de dadosBig data e mineração de dados
Big data e mineração de dados
 
Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA
Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDAOficina técnica da Infraestrutura Nacional de Dados Abertos - INDA
Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA
 
Tornando se um DevOps sem perder a cabeça #SE7I2016
Tornando se um DevOps sem perder a cabeça #SE7I2016Tornando se um DevOps sem perder a cabeça #SE7I2016
Tornando se um DevOps sem perder a cabeça #SE7I2016
 
Ruby on Rails for beginners 2.0
Ruby on Rails for beginners 2.0Ruby on Rails for beginners 2.0
Ruby on Rails for beginners 2.0
 
Master Data Management & Virtualização de Dados em SOA
Master Data Management & Virtualização de Dados em SOAMaster Data Management & Virtualização de Dados em SOA
Master Data Management & Virtualização de Dados em SOA
 
Migracao colaborativa
Migracao colaborativaMigracao colaborativa
Migracao colaborativa
 
Pipeconf no CoffeOps Campinas
Pipeconf no CoffeOps CampinasPipeconf no CoffeOps Campinas
Pipeconf no CoffeOps Campinas
 
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...
 
Apresentação sobre Drupal
Apresentação sobre DrupalApresentação sobre Drupal
Apresentação sobre Drupal
 
Material Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos AlexandrukMaterial Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos Alexandruk
 
Service Bus Data Base
Service Bus Data BaseService Bus Data Base
Service Bus Data Base
 
De 1 a 1.000.00 de usuários
De 1 a 1.000.00 de usuáriosDe 1 a 1.000.00 de usuários
De 1 a 1.000.00 de usuários
 
Apresentação TCC
Apresentação TCCApresentação TCC
Apresentação TCC
 
[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data
[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data
[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data
 
Planejamento rede
Planejamento rede Planejamento rede
Planejamento rede
 
Migrando Aplicações para o SQL Azure Database
Migrando Aplicações para o SQL Azure DatabaseMigrando Aplicações para o SQL Azure Database
Migrando Aplicações para o SQL Azure Database
 
Migrando Aplicações legadas para o Microsoft Azure
Migrando Aplicações legadas para o Microsoft AzureMigrando Aplicações legadas para o Microsoft Azure
Migrando Aplicações legadas para o Microsoft Azure
 

Plus de Leonardo Cezar

Alta disponibilidade com PostgreSQL
Alta disponibilidade com PostgreSQLAlta disponibilidade com PostgreSQL
Alta disponibilidade com PostgreSQLLeonardo Cezar
 
Versionamento de modelo de dados com PostgreSQL
Versionamento de modelo de dados com PostgreSQLVersionamento de modelo de dados com PostgreSQL
Versionamento de modelo de dados com PostgreSQLLeonardo Cezar
 
Funções Administrativas no PostgreSQL
Funções Administrativas no PostgreSQLFunções Administrativas no PostgreSQL
Funções Administrativas no PostgreSQLLeonardo Cezar
 
Interoperabilidade dados abertos
Interoperabilidade dados abertosInteroperabilidade dados abertos
Interoperabilidade dados abertosLeonardo Cezar
 
PostgreSQL À la Debian
PostgreSQL À la DebianPostgreSQL À la Debian
PostgreSQL À la DebianLeonardo Cezar
 
PostgreSQL À la Debian
PostgreSQL À la DebianPostgreSQL À la Debian
PostgreSQL À la DebianLeonardo Cezar
 

Plus de Leonardo Cezar (7)

Alta disponibilidade com PostgreSQL
Alta disponibilidade com PostgreSQLAlta disponibilidade com PostgreSQL
Alta disponibilidade com PostgreSQL
 
Versionamento de modelo de dados com PostgreSQL
Versionamento de modelo de dados com PostgreSQLVersionamento de modelo de dados com PostgreSQL
Versionamento de modelo de dados com PostgreSQL
 
Funções Administrativas no PostgreSQL
Funções Administrativas no PostgreSQLFunções Administrativas no PostgreSQL
Funções Administrativas no PostgreSQL
 
Interoperabilidade dados abertos
Interoperabilidade dados abertosInteroperabilidade dados abertos
Interoperabilidade dados abertos
 
PostgreSQL À la Debian
PostgreSQL À la DebianPostgreSQL À la Debian
PostgreSQL À la Debian
 
PostgreSQL À la Debian
PostgreSQL À la DebianPostgreSQL À la Debian
PostgreSQL À la Debian
 
Sql proficiente
Sql proficienteSql proficiente
Sql proficiente
 

Migração para PostgreSQL na Dataprev

  • 1. Situação do processo de migração para PostgreSQL na Dataprev Leonardo Cezar
  • 2. Sobre a Dataprev ➔ Três centros de processamento distribuídos (SP, RJ, DF) ➔ Cinco unidades de desenvolvimento (CE, PB, RJ, SC, SL) ➔ Ambientes híbridos de sistema operacional e banco de dados ➔ Bilhões de informações processadas diariamente ➔ Clientes: INSS, SRFB, MPS, MTE, MPOG
  • 3. Motivação ➔ Racionalização de licenças ➔ Independência tecnológica ➔ Redução de custos
  • 4. Por que PostgreSQL? suporte da comunidade extensível escalável Administração simples grandes volumes de dados segurança gratuito e livre licença adequada relacional MVCC LDAP over deployment custo confiabilidade integridade tipos customizados estabilidade multiplataforma ACID Rules Integridade Referencial SSL Kerberos linguagens procedurais LDAP
  • 5. Critérios ➔ Demanda do cliente ➔ Quantidade de pontos de função ➔ Complexidade das regras de negócios ➔ Número de TPS ➔ Arquitetura da aplicação ➔ Estabilidade do produto
  • 6. Fases da Migração ➔ Definição de um processo (protocolo) comum para todos ambientes ➔ Refatoração da aplicação e conectores ➔ Revisão da arquitetura ➔ Sustentação operacional
  • 7. Protocolo de migração (v.0.1) ➔ Definição formal do processo ➔ Padronização de técnicas ➔ Monitoramento das fases de migração ➔ Elaborado com EPF ➔ Relacionar com fases do processo de desenvolvimento dataprev (pddataprev)
  • 8. Processo de migração ➔ Tipos de migração ➔ Migração de aplicação ➔ Migração de base de dados ➔ Migração de aplicação e base de dados (desenvolvimento)
  • 9. Processo de migração: Identificação ➔ Informações sobre a infraestrutura ➔ Cópia de segurança ➔ Disponibilidade ➔ Compatibilidade da aplicação
  • 10. Processo de migração: Planejamento ➔ Documento de visão – Informações sobre a aplicação – Requisitos da aplicação – Cenário de utilização de aplicação ➔ Documento de escopo ➔ Cronograma preliminar
  • 11. Processo de migração: Análise ➔ Características da aplicação ➔ Rastreabilidade de dependências – Estudo preliminar (obter poucas informações) – Análise completa (visões, SPs, JOBs, &c)
  • 12. Processo de migração: Execução ➔ Migração de grupos e roles ➔ Migração de DDL ➔ Exportação de dados ➔ Procedimentos armazenados ➔ Views ➔ Triggers ➔ Jobs e Cargas
  • 13.
  • 14.
  • 15. Ferramentas de apoio ➔ Estrutura/Dados – mssqltopg – FreeTDS – SQLFairy – Dump2pg – Pentaho Data Integration (kettle)
  • 16. Ferramentas de apoio ➔ Integração – Foreign data wrappers – DBI Link – Dblink – Pentaho Data Integration (kettle)
  • 17. Sustentação do ambiente ➔ Disponibilidade ➔ Monitoramento ➔ Manutenção evolutiva
  • 18. Principais casos de sucesso ➔ Sistema de gestão de passagens ➔ Guia de recolhimento da união ➔ Sistema de acompanhamento de processos
  • 19. Dificuldades encontradas ➔ Capacitação da equipe ➔ Inconsistências no framework ➔ Extrações binárias ➔ Softwares de gerenciamento ➔ Cultura ➔ Vícios ➔ Ferramentas de modelagem ➔ Ferramentas de administração ➔ Mitos
  • 20. Próximas etapas ➔ Aquisição de software de modelagem ➔ Aquisição de software de administração ➔ Melhor integração entre outros sistemas ➔ Atualização de versões