2. DADOS 100% PROTEGIDOS
Desafio na Custos de Gerenciar e Qualidade Dados Como é
Gestão de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
Redução de Custos Fornecer Dados de
de Manutenção Qualidade
Desafios
Gerenciar e Manter Proteger Dados
Dados Sensíveis
3. DADOS 100% PROTEGIDOS
Desafio na Custos de Gerenciar e Qualidade Dados Como é
Gestão de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
A Segurança de Dados em Foco (Por Maurício Renner - Baguete - Criado em 01/07/2011 )
Um estudo com 430 profissionais da área apontou que:
84% das empresas usam informações reais 70% utilizam dados de consumidores e
de seus clientes durante o desenvolvimento e 51% usam informações de crédito, débito e
teste de software; outros dados de pagamentos.
Cerca de 75% dos entrevistados não têm certeza se suas empresas seriam capazes de
detectar roubo ou perda acidental de informações usadas no desenvolvimento ou em testes.
45% não protegem as informações reais
usadas em desenvolvimento e teste.
4. DADOS 100% PROTEGIDOS
Desafio na Gestão Custos de Gerenciar e Qualidade Dados Como é
de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
O ETERNO CRESCIMENTO DOS STORAGES
• O volume de informações criadas nas organizações, continua a crescer em um ritmo
exponencial, dobrando a cada 4 anos.
• As organizações modernas, muitas vezes, mantém várias cópias dos mesmos dados.
SCRIPTS CASEIROS – replica de produção
• Scripts que extraem dados e recriam modelos, têm um alto custo de manutenção.(Eles
devem ser atualizados a cada simples fato novo).
5. DADOS 100% PROTEGIDOS
Desafio na Gestão Custos de Gerenciar e Qualidade Dados Como é
de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
SCHEMAS DE PRODUÇÃO
• Schemas de Produção são constantemente
atualizados. QA
• Teste, QA e ambientes
de treinamento também devem refletir essas
alterações frequentes. Produção
Testes
REQUISITOS
• A lógica do negócio é como uma "entidade viva" - muda de
acordo com as demandas da companhia, gerando novas exigências.
6. DADOS 100% PROTEGIDOS
Desafio na Gestão Custos de Gerenciar e Qualidade Dados Como é
de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
COERÊNCIA
Relações Explícitas
• Integridade referencial.
• Inter-relação entre bancos de dados.
• Interação com fontes de dados externos – arquivos, valores definidos pelo usuários, etc.
Lógica de Negócio
• Regras de negócio empregadas nas aplicações.
QA
Produção
Testes
7. DADOS 100% PROTEGIDOS
Desafio na Gestão Custos de Gerenciar e Qualidade Dados Como é
de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
POLíTICA SEGURANÇA
EXPOSIÇÃO COERÊNCIA
CORPORATIVA
• Teste, QA e • Os dados de • O mascarar de dados
desenvolvimento. produção são deve MANTER A
informações LÓGICA original. Por
• Ambientes devem valiosas, que NÃO Exemplo: Números de
cumprir com as PODEM ESTAR telefone, cartão de
políticas de EXPOSTAS a crédito, nomes, etc.
SEGURANÇA. consultores, funcioná
rios, equipes
externas, etc.
8. DADOS 100% PROTEGIDOS
Desafio na Gestão Custos de Gerenciar e Qualidade Dados Como é
de Dados Manutenção Manter Dados de Dados Sensíveis hoje?
Várias réplicas dos dados de
Outros Ambientes
produção, disponíveis para os
contratados e terceiros , sem
controle ou auditoria.
Ambiente de Produção
Desenvolvimento Desenvolvedores
Terceiros
Subcontratados
Cópia
QA
Produção
Conjunto de Dados Completos
Conjunto de Dados Completos Dados Sensíveis Expostos
Dados Sensíveis Ambiente Desprotegido
Ambiente Protegido
Treinamento
9. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
Outros Ambientes
Ambiente de Produção
Desenvolvimento
DATAPEERS
Subdivisão Inteligente
Masking Avançado
Produção
QA
Conjunto de Dados Parcial
Conjunto de Dados Completos Dados Sensíveis Mascarados
Dados Sensíveis Ambiente Protegido
Ambiente Protegido
Treinamento
10. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
Outros Ambientes
Ambiente de Produção
Outro Ambiente
Desenvolvimento
Duplicação DATAPEERS
Produção Réplica Temporária
QA
Treinamento
11. Metadados Extração Carga
DADOS 100% PROTEGIDOS
produção leitura
METADATA Modelo de Metadados EXTRATOR
Lê o schema
Identifica todos os
objetos do BD Extração
Aplicação Identifica possíveis
relações Registrá-lo
+
Conector
Define Dimensões da
Ambiente Extração
de
Produção IDENTIFICA:
Regras de Negócios
Datapeers
Relações Implícitas Admin
Dimensões Obtém os dados referentes
Conjuntos de Dados (parâmetros) aos parâmetros informados
Dados Sensíveis na extração
Obter todos os
objetos do BD
12. Metadados Extração Carga
DADOS 100% PROTEGIDOS
produção leitura
METADATA Modelo de Metadados EXTRATOR
Armazena modelo atual de
Metadados
Extração
Aplicação
+
Conector leitura
Identifica e escolhe o
destino UPLOADER
Ambiente
de
Produção Usuários
Ambiente de Ambiente QA
Ambiente de
Treinamento
Desenvolvimento
13. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
• Dimensões • Redução de dados • Criação do modelo de
• Relações • Os dados são obtidos dados
• Regras de negócio em um formato coeso • População de dados
• Datasets e independente de • Suporte multi base de
tecnologia dados na origem e no
• Critérios de Masking
destino
Definição
Extração Carregamento
metadados
14. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
DEFINIÇÃO DE METADADOS
Os metadados definem:
Todas as conexões da base de dados;
Dimensões de extração (ex. Clientes, Artigos, Lojas, Departamentos, ...);
Regras de negócio;
Campos confidenciais;
Relações implícitas;
Conjuntos de Dados (Parâmetros).
Desenho modular
O DATAPEERS é puramente baseado em metamodelos, o que torna possível utilizar diferentes
tecnologias de bases de dados.
15. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
CONFIDENCIALIDADE DE DADOS
A sua informação tem valor comercial inestimável!
Apenas os dados reais podem assegurar que testes sobre novos desenvolvimentos produzem
resultados confiáveis.
O DATAPEERS garante a confidencialidade dos dados:
Dados confidenciais são substituídos por dados novos;
Os novos dados são baseados nos originais e são resultado
de funções altamente configuráveis e seguras que
garantem coerência;
Os novos dados cumprem todas as regras de integridade
referencial (incluindo chaves primárias e estrangeiras);
Os novos dados não afetam a performance da base de
dados.
16. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
• Após a definição do metamodelo, os dados
podem ser extraídos de forma a
observarem todas as regras e relações do
modelo;
• No momento da Extração, Datasets
• A extração é baseada numa camada expecíficos poderão ser
consistente de dados que segue a definição criados, com base nas definições de
lógica do metamodelo; PARÂMETROS. Esta funcionalidade
seleciona o universo de
• Criar um novo ambiente é tão simples informações desejadas, a ser
quanto especificar a extração a ser aplicada copiado para a base de dados
sobre o ambiente alvo; destino, criando assim bases
reduzidas.
17. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
• Definir a base de dados destino e carregar
os dados;
• As bases de dados destino são sempre
coerentes, seguras e totalmente
funcionais;
• É possível criar múltiplas bases de dados a
partir de uma única extração.
18. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Abordagem Como Processo
DataPeers Funciona DataPeers Metadados Extração Carga
GERADOR DE DADOS DE TESTE
E se não existirem dados de produção para alimentar os ambientes de testes e qualidade?
Como garantir a qualidade dos dados?
Através de inferência de modelo de dados e algoritmos avançados de geração é possível
garantir que os dados gerados:
São humanamente legíveis e percebidos como dados reais;
São produzidos na quantidade requerida, de acordo com regras especificadas;
Permitem recriar condições extremas de teste, tornando os testes unitários mais eficazes e
permitindo a identificação imediata de bugs de software.
19. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Situação Atual x Benefícios Vantagens Caso Prático
DataPeers Competitivas
Redução de Novas
Qualidade Extra Automação
Custos Extras Funcionalidades
20. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Situação Atual x Benefícios Vantagens Caso Prático
DataPeers Competitivas
21. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Situação Atual x Benefícios Vantagens Caso Prático
DataPeers Competitivas
Flexível
Consistência Multi
entre tecnologia de
aplicações BD
Elevado Independente
desempenho de plataforma
Inferência do
modelo de
dados
22. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Situação Atual x Benefícios Vantagens Caso Prático
DataPeers Competitivas
SITUAÇÃO: Um varejista líder de mercado necessita fornecer informação de
CRM para uma empresa externa, para análise de fidelização. Para essa
análise, apenas os clientes com compras superiores a $100 devem ser
considerados.
Principais preocupações:
Não se pode fornecer nomes reais de clientes nem os verdadeiros SKUs dos produtos
A informação de vendas reside numa base de dados diferente
• CRM – SQL Server
• Vendas – Oracle
Os resultados da análise de fidelização que referenciam nomes de clientes e SKUs devem
poder ser revertidos para os originais
23. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Situação Atual x Benefícios Vantagens Caso Prático
DataPeers Competitivas
PROPOSIÇÃO:
1. Usando o DATAPEERS, criou-se um dataset com todos os id_cliente cujo valor de compras é
superior a $100 baseado na base de dados de vendas (Oracle);
2. Os nomes dos clientes foram mascarados com a função Smart Name Generator;
3. Os SKUs dos produtos foram mascarados usando a função Shuffle;
4. A dimensão Cliente baseada em id_cliente foi criada;
5. O extrator foi parametrizado para usar a dimensão Cliente com o dataset criado em 1;
6. O carregamento criou duas novas bases de dados:
BD com dados protegidos para fornecer à empresa externa
BD segura com um conjunto de funções para reverter os dados mascarados
24. DADOS 100% PROTEGIDOS
DADOS 100% SEGUROS
Situação Atual x Benefícios Vantagens Caso Prático
DataPeers Competitivas
BENEFÍCIOS
Apenas perfis autorizados têm acesso aos O DATAPEERS permitiu
resultados reais de análise de fidelização. inter-relacionar duas
aplicações distintas para
fornecer uma única Lógica de
Negócio.
O varejista pode fornecer
dados confidenciais sem A análise de fidelização é agora feita com maior
qualquer preocupação . frequência – o DATAPEERS assegura um
processo rápido e confiável para providenciar
toda a informação.